AI가 그럴듯한 거짓말을 할 때 — 환각을 줄이는 프롬프트 습관 5가지

AI에게 뭔가 물었더니, 존재하지 않는 논문이나 없는 법 조항, 가짜 통계를 너무도 자연스럽게 답한 적 있으실 겁니다. 말투는 자신만만한데 내용은 틀린 그 답변 말입니다. 이런 현상을 ‘AI 환각(hallucination)‘이라고 부릅니다. 그리고 의외의 사실이 하나 있습니다. 이건 최신 AI에서도 완전히 사라지지 않았고, 앞으로도 쉽게 사라지지 않습니다. 다만 우리가 손쓸 수 있는 부분이 분명히 있습니다. 같은 질문이라도 어떻게 묶어서 던지느냐에 따라 환각은 확 줄어듭니다. 이 글은 그 차이를 ‘그냥 질문’과 ‘제대로 묶은 질문’으로 직접 비교해 보여주고, 그대로 복사해 쓸 수 있는 프롬프트 다섯 개를 정리합니다.

핵심 요약

• AI 환각은 모델이 사실을 검증해 꺼내오는 게 아니라 ‘그럴듯한 다음 단어’를 예측하기 때문에 생깁니다. 그래서 자신 있게 틀린 답을 내놓습니다 — OpenAI 논문(2025.9).
• 이건 버그가 아니라 구조적 문제입니다. OpenAI조차 “학습·평가 방식이 ‘모른다’고 인정하기보다 찍기를 보상한다”고 분석했습니다 — OpenAI 논문(2025.9).
• 실제 피해도 있었습니다. 미국에서 ChatGPT가 지어낸 가짜 판례를 제출한 변호사가 2023년 5,000달러, 2025년에는 1만 달러의 제재를 받았습니다 — Seyfarth·CalMatters.
• 한국도 환각을 정책 위험으로 다루기 시작했습니다. 한국지능정보사회진흥원(NIA)은 2025년 12월 ‘AI 환각’ 대응 전략 보고서를 냈습니다 — NIA.
• 다섯 가지 프롬프트 습관(모른다고 하게 하기·출처 요구·자료 안에서만 답하게 하기·확신도 표시·단계 검산)은 OpenAI·구글 등이 권장하는 환각 저감법입니다 — OpenAI·구글.

왜 AI는 ‘그럴듯한 거짓말’을 할까?

핵심부터 말하면, AI는 ‘정답을 찾아오는 기계’가 아니라 ‘그럴듯한 다음 말을 이어가는 기계’입니다. 우리가 질문하면 AI는 거대한 데이터에서 사실을 검색해 확인하는 게 아니라, 그 질문 뒤에 올 법한 단어를 확률적으로 이어 붙입니다. 대부분의 경우 그 ‘그럴듯함’이 사실과 맞아떨어집니다. 문제는 맞지 않을 때입니다. 그래도 AI는 멈추지 않고, 똑같이 자신 있는 말투로 이어 갑니다.

이걸 학술적으로 정리한 연구가 있습니다. OpenAI가 2025년 9월 공개한 논문 ‘Why Language Models Hallucinate’는, 언어 모델이 불확실함을 인정하는 대신 그럴듯하지만 틀린 진술을 만들어낸다고 짚었습니다 — OpenAI 논문. 더 흥미로운 건 원인 분석입니다. 이들은 환각이 단순한 결함이 아니라 구조적 문제라고 봤습니다. 학습과 평가 방식 자체가 “‘모른다’고 답하기보다 찍는 쪽을 보상”하기 때문이라는 겁니다 — OpenAI 논문.

비유하자면 시험을 떠올리면 쉽습니다. 객관식 시험에서 모르는 문제를 비워두면 0점이지만, 찍으면 맞을 확률이라도 생깁니다. 그래서 학생은 찍습니다. AI도 똑같이 길러졌습니다. “모르겠다”고 말하는 것보다 일단 그럴듯한 답을 내미는 쪽이 더 좋은 점수를 받도록 훈련된 것입니다. 그러니 환각은 AI가 게을러서가 아니라, 그렇게 행동하도록 만들어졌기 때문에 나옵니다.

여기서 우리가 할 일이 분명해집니다. AI가 ‘찍기’를 하도록 길러졌다면, 우리는 질문할 때 ‘찍지 말라’는 조건을 직접 걸어주면 됩니다. 아래 다섯 가지가 그 방법입니다.

환각이 진짜 문제가 된 순간들

추상적으로 들릴 수 있으니, 실제로 돈과 신뢰가 걸렸던 사례부터 보겠습니다.

가장 유명한 건 2023년 미국의 한 항공사 소송입니다. 변호사들이 ChatGPT가 만들어준 판례들을 법원에 제출했는데, 그 판례들은 존재하지 않는 가짜였습니다. 판사는 이들에게 5,000달러의 제재금을 부과했습니다 — Seyfarth. 한 번의 해프닝으로 끝나지 않았습니다. 2025년 9월에는 캘리포니아 항소법원이 한 변호사에게 1만 달러의 벌금을 매겼습니다. 그가 제출한 인용문 23개 중 21개가 ChatGPT가 지어낸 것이었기 때문입니다 — CalMatters. 2년 사이 제재금이 두 배로 뛰었습니다. 법원이 이 문제를 점점 무겁게 보고 있다는 신호입니다.

한국도 이 문제를 가볍게 보지 않습니다. 한국지능정보사회진흥원(NIA)은 2025년 12월 ‘AI 환각’을 다룬 정책 보고서를 내고, 환각을 신뢰를 무너뜨리는 위험인 동시에 관리해야 할 대상으로 다뤘습니다 — NIA. 법정과 병원처럼 정확성이 생명인 분야일수록 환각의 비용은 커집니다.

META TOUR의 관점: 환각의 진짜 위험은 ‘틀린다’는 사실 자체가 아니라, ‘자신 있게 틀린다’는 데 있습니다. 우물쭈물 틀려주면 우리가 의심이라도 하는데, AI는 가짜 판례조차 진짜처럼 또박또박 적어냅니다. 그래서 환각 대응의 핵심은 ‘AI를 똑똑하게 만드는 것’이 아니라, ‘AI가 모를 때 모른다고 말하게 만드는 것’입니다. 프롬프트의 역할이 바로 여기에 있습니다.

습관 1. “모르면 모른다고 해”라고 못 박기

가장 간단하면서 효과가 큰 습관입니다. AI는 빈칸을 싫어합니다. 그러니 “모르면 차라리 비워두라”고 미리 허락해 줘야 합니다.

한 줄 정리: “모르면 모른다고 해” 한 문장이 환각의 가장 흔한 출구를 막습니다. 이건 실제로 OpenAI가 프롬프트 가이드에서 권하는 방식이기도 합니다 — OpenAI.

습관 2. 출처와 기준 시점을 함께 요구하기

숫자나 사실을 물을 때는 “근거도 같이 내놔”라고 요구하세요. 출처를 붙이라고 하면, AI는 자기 답을 한 번 더 점검하게 됩니다. 근거를 못 대는 답은 스스로 덜 내놓게 됩니다.

한 줄 정리: 출처를 요구하면 ‘검증 가능한 답’과 ‘검증 불가능한 답’이 갈립니다. OpenAI도 답변에 인용을 포함하게 하면 틀린 응답의 비율을 줄이는 데 도움이 된다고 안내합니다 — OpenAI.

습관 3. 자료를 먼저 주고 “이 안에서만 답해”

환각을 가장 확실하게 줄이는 방법입니다. AI가 머릿속(학습 데이터)에서 끌어오게 두지 말고, 답의 근거가 될 자료를 직접 붙여준 뒤 “이 안에서만 답하라”고 가두는 것입니다. 전문 용어로는 ‘그라운딩(grounding)‘이라고 부릅니다.

한 줄 정리: 답의 재료를 직접 쥐어주면 AI가 헤맬 여지가 사라집니다. 구글도 그라운딩이 지어내는 일을 줄인다고 설명합니다 — 구글. 사규, 계약서, 매뉴얼처럼 ‘우리만의 정확한 답’이 필요할 때 특히 강력합니다.

습관 4. “확신도를 표시해줘”

답을 받되, 각 항목이 얼마나 믿을 만한지도 함께 표시하게 하는 방법입니다. 그러면 사실과 추측이 한 덩어리로 섞여 나오는 일을 막을 수 있습니다.

한 줄 정리: 확신도 표시는 ‘사실’과 ‘추측’에 서로 다른 라벨을 붙이게 만들어, 어디를 의심해야 할지 한눈에 보여줍니다. 환각의 뿌리가 ‘불확실함을 인정하지 않는 것’이었음을 떠올리면, 인정할 자리를 열어 주는 방법입니다.

습관 5. 바로 답하지 말고 단계로 쪼개 검산하게

계산이나 추론이 필요한 질문에서, AI는 결론으로 성급하게 건너뛰다 틀립니다. 그러니 “과정을 단계별로 적고 마지막에 검산하라”고 시키면 오류를 스스로 잡을 확률이 올라갑니다.

한 줄 정리: 단계별 풀이(생각의 사슬)는 OpenAI 가이드가 권장하는 방식으로, 계획·추론 오류를 줄이는 데 도움이 됩니다 — OpenAI. 복잡할수록 “한 번에 답하지 마”가 약이 됩니다.

META TOUR의 관점: 다섯 가지를 관통하는 원리는 하나입니다. AI에게서 ‘찍을 권리’를 빼앗는 것입니다. 모른다고 말할 자리를 주고(습관 1·4), 근거를 대게 하고(습관 2·3), 성급한 결론을 막는(습관 5) 것 모두 같은 목적을 향합니다. 똑똑한 질문이란 결국 화려한 주문이 아니라, AI가 거짓말할 틈을 좁히는 질문입니다.

그래서 오늘부터 무엇을 하면 될까

환각은 AI를 쓰는 한 완전히 사라지지 않습니다. 그러니 ‘없애려’ 하기보다 ‘줄이고 걸러내는’ 쪽으로 마음을 바꾸는 게 현실적입니다.

오늘 당장 해볼 한 가지를 고른다면, 습관 1을 권합니다. 다음에 AI에게 사실을 물을 때, 질문 끝에 “확실하지 않으면 모른다고 해”를 붙여보세요. 단 한 문장인데, 자신 있게 틀린 답이 눈에 띄게 줄어드는 걸 느끼실 겁니다.

한 발 더 나가자면, 이 다섯 가지를 따로 외울 필요도 없습니다. 중요한 답일수록 “근거를 대고, 모르면 모른다고 하고, 자료 안에서만 답해”를 습관처럼 덧붙이면 됩니다. AI는 점점 똑똑해지겠지만, ‘모를 때 모른다고 말하게 만드는’ 책임은 한동안 쓰는 사람 몫으로 남습니다. 그 책임을 질문 한 줄로 대신할 수 있다면, 꽤 남는 거래입니다.

프롬프트를 더 단단하게 던지는 법은 더 나은 질문을 던지는 법에서 이어집니다.

자주 묻는 질문

AI 환각을 완전히 없앨 수 있나요?

없앨 수 없습니다. OpenAI는 2025년 9월 논문에서 환각이 학습·평가 구조에서 비롯된 문제라 쉽게 사라지지 않는다고 분석했습니다 — OpenAI 논문. 최신 모델에서도 빈도가 줄 뿐 0이 되지는 않으므로, 줄이고 걸러내는 접근이 현실적입니다.

프롬프트만 바꿔도 정말 효과가 있나요?

네, 의미 있게 줄어듭니다. “모르면 모른다고 해”, 출처 요구, 자료 안에서만 답하게 하기(그라운딩) 등은 OpenAI와 구글이 권장하는 환각 저감법입니다 — OpenAI·구글. 다만 완벽한 보장은 아니므로 중요한 사실은 사람이 최종 확인해야 합니다.

어떤 질문에서 환각이 특히 위험한가요?

정확성이 생명인 분야입니다. 법률·의료·세무·정책 금액처럼 틀리면 피해가 큰 영역이 대표적입니다. 실제로 가짜 판례를 제출한 변호사들이 법원에서 제재를 받은 사례가 미국에서 반복됐습니다 — Seyfarth·CalMatters.

‘그라운딩’이 뭔가요?

답의 근거가 될 자료를 AI에게 직접 주고, 그 안에서만 답하게 하는 방법입니다. AI가 학습한 기억에서 끌어오는 대신 눈앞의 자료를 쓰게 하므로, 지어낼 여지가 크게 줄어듭니다 — 구글. 사규·계약서·매뉴얼 질문에 특히 효과적입니다.

AI가 출처까지 지어내면 어떡하죠?

실제로 가능한 일입니다. 그래서 출처를 받았다고 끝이 아니라, 그 출처가 진짜 존재하는지 한 번 더 확인해야 합니다. 링크나 문서명을 직접 검색해 보는 습관이 마지막 안전장치입니다. AI의 답은 ‘초안’으로 두고 사실은 사람이 확정하는 게 안전합니다.

결론

AI 환각은 ‘똑똑함의 부족’이 아니라 ‘모를 때도 멈추지 않는 성질’에서 나옵니다. 그래서 더 좋은 모델을 기다리기보다, 지금 질문에 조건을 거는 쪽이 빠릅니다. 모른다고 말할 자리를 주고, 근거를 요구하고, 자료 안에 가두고, 확신도를 표시하게 하고, 단계로 검산하게 하는 것. 이 다섯 줄이 AI가 거짓말할 틈을 좁힙니다. 환각을 0으로 만들 수는 없어도, 자신 있게 틀린 답에 속을 확률은 분명히 낮출 수 있습니다.

참고 자료

• OpenAI. Why Language Models Hallucinate (Kalai 등). 2025-09. 2026-07-10 확인. 자료 보기
• Seyfarth Shaw. ChatGPT 가짜 판례 변호사 제재(Mata v. Avianca, 5,000달러). 2023. 2026-07-10 확인. 자료 보기
• CalMatters. 캘리포니아 변호사 ChatGPT 가짜 인용 1만 달러 제재(23개 중 21개 허위). 2025-09. 2026-07-10 확인. 자료 보기
• NIA(한국지능정보사회진흥원). AI 환각: 위험 관리와 창의적 활용을 위한 정책 대응 전략(공론화 리포트 2호). 2025-12. 2026-07-10 확인. 자료 보기
• OpenAI. GPT-4.1 Prompting Guide (모른다고 답하기·그라운딩·단계별 추론). 2026-07-10 확인. 자료 보기
• Google Cloud. How Vertex AI grounding helps build more reliable models. 2026-07-10 확인. 자료 보기