AI가 그럴듯한 거짓말을 할 때: 환각을 줄이는 프롬프트 습관 5가지

AI가 자신 있게 틀릴 때 문제는 답변의 말투가 아니라 검증 구조입니다. 모른다고 말하게 하고, 출처를 요구하고, 자료 안에서만 답하게 만드는 프롬프트 습관을 정리했습니다.

AI에게 뭔가 물었더니, 존재하지 않는 논문이나 없는 법 조항, 가짜 통계를 너무도 자연스럽게 답한 적 있으실 겁니다. 말투는 자신만만한데 내용은 틀린 그 답변 말입니다. 이런 현상을 AI 환각(hallucination)이라고 부릅니다.

그리고 의외의 사실이 하나 있습니다. 이건 최신 AI에서도 완전히 사라지지 않았고, 앞으로도 쉽게 사라지지 않습니다. 다만 우리가 손쓸 수 있는 부분이 분명히 있습니다. 같은 질문이라도 어떻게 묶어서 던지느냐에 따라 환각은 줄어듭니다. 이 글은 그 차이를 대충 질문과 제대로 묶은 질문으로 직접 비교해 보여주고, 그대로 복사해 쓸 수 있는 프롬프트 다섯 개를 정리합니다.

왜 AI는 그럴듯한 거짓말을 할까?

핵심부터 말하면, AI는 정답을 찾아오는 기계라기보다 그럴듯한 다음 말을 이어가는 시스템에 가깝습니다. 우리가 질문하면 AI는 질문 뒤에 올 법한 단어와 문장을 확률적으로 이어 붙입니다. 대부분의 경우 그 그럴듯함이 사실과 맞아떨어집니다. 문제는 맞지 않을 때입니다. 그래도 AI는 멈추지 않고, 똑같이 자신 있는 말투로 이어 갑니다.

OpenAI가 2025년 9월 공개한 글과 논문은 언어 모델의 환각을 표준 학습·평가 방식과 연결해 설명했습니다. 핵심은 불확실성을 인정하는 답보다 일단 맞힐 가능성이 있는 답을 내는 쪽이 평가에서 유리해질 수 있다는 점입니다. 비유하자면 시험을 떠올리면 쉽습니다. 모르는 문제를 비워두면 0점이지만, 찍으면 맞을 확률이라도 생깁니다. 그래서 학생은 찍습니다. AI도 비슷한 방향으로 행동할 수 있습니다.

여기서 우리가 할 일이 분명해집니다. AI가 추측을 하도록 두면, 우리는 질문할 때 추측하지 말라는 조건을 직접 걸어주면 됩니다. 아래 다섯 가지가 그 방법입니다.

환각이 진짜 문제가 된 순간들

추상적으로 들릴 수 있으니, 실제로 돈과 신뢰가 걸렸던 사례부터 보겠습니다.

가장 유명한 건 2023년 미국의 한 항공사 소송입니다. 변호사들이 ChatGPT가 만들어준 판례들을 법원에 제출했는데, 그 판례들은 존재하지 않는 가짜였습니다. 관련 분석에 따르면 법원은 이들에게 5,000달러의 제재금을 부과했습니다. 한 번의 해프닝으로 끝나지 않았습니다. 2025년 9월에는 캘리포니아 항소법원이 한 변호사에게 1만 달러의 벌금을 매겼습니다. 보도에 따르면 그가 제출한 인용문 23개 중 21개가 ChatGPT가 지어낸 것이었습니다.

한국도 이 문제를 가볍게 보지 않습니다. 한국지능정보사회진흥원(NIA)은 2026년 1월 AI 환각을 다룬 정책 보고서를 발표했습니다. KDI 경제교육·정보센터에 게재된 요약은 이 보고서가 AI 환각을 신뢰성을 저해하는 위험 요소이자 관리해야 할 정책 대상으로 다뤘다고 설명합니다. 법정과 병원처럼 정확성이 생명인 분야일수록 환각의 비용은 커집니다.

META TOUR의 관점: 환각의 진짜 위험은 틀린다는 사실 자체가 아니라, 자신 있게 틀린다는 데 있습니다. 우물쭈물 틀려주면 우리가 의심이라도 하는데, AI는 가짜 판례조차 진짜처럼 또박또박 적어냅니다. 그래서 환각 대응의 핵심은 AI가 모를 때 모른다고 말하게 만드는 것입니다.

습관 1. 모르면 모른다고 해라고 못 박기

가장 간단하면서 효과가 큰 습관입니다. AI는 빈칸을 싫어합니다. 그러니 모르면 차라리 비워두라고 미리 허락해 줘야 합니다.

조선시대 거북선은 정확히 몇 척이 만들어졌어?

조선시대 거북선은 정확히 몇 척이 만들어졌어?
확실하지 않으면 추측하지 말고 "확실하지 않다"고 답하고,
무엇이 불확실한지 알려줘.

한 줄 정리: 모르면 모른다고 해 한 문장이 환각의 가장 흔한 출구를 막습니다. OpenAI의 2025년 환각 글도 불확실성을 인정하는 답이 평가에서 보상받아야 한다는 방향을 강조합니다.

확실하지 않은 내용은 추측하지 마.
근거가 부족하면 "확실하지 않음"이라고 표시하고,
무엇이 불확실한지 따로 설명해줘.

습관 2. 출처와 기준 시점을 함께 요구하기

숫자나 사실을 물을 때는 근거도 같이 내놓으라고 요구하세요. 출처를 붙이라고 하면, AI 답변을 사람이 확인할 수 있는 형태로 바꿀 수 있습니다. 근거를 못 대는 답은 그대로 믿지 않고 확인 필요로 분리하면 됩니다.

2026년 전기차 보조금 얼마야?

2026년 전기차 보조금이 궁금해.
출처와 기준 시점을 함께 밝히고,
확실한 근거를 댈 수 없으면 "확인 필요"라고만 답해줘.

한 줄 정리: 출처를 요구하면 검증 가능한 답과 검증 불가능한 답이 갈립니다. OpenAI의 프롬프트 엔지니어링 도움말도 사실 기반 작업에서는 입력과 지시를 명확히 구분하고, 구체적인 형식을 요구하는 방식을 권합니다.

답변마다 출처명, 문서명 또는 링크, 기준 시점을 함께 적어줘.
출처를 확인할 수 없는 내용은 "확인 필요"로 분리해줘.
정책·가격·통계는 작성일 기준 정보인지도 표시해줘.

습관 3. 자료를 먼저 주고 이 안에서만 답해

환각을 가장 확실하게 줄이는 방법입니다. AI가 학습 데이터에서 끌어오게 두지 말고, 답의 근거가 될 자료를 직접 붙여준 뒤 이 안에서만 답하라고 가두는 것입니다. 전문 용어로는 그라운딩(grounding)에 가깝습니다.

우리 회사 환불 규정 알려줘.

아래 환불 규정 안에서만 답하고,
자료에 없는 내용은 "자료에 없음"이라고 해.

[여기에 실제 규정 텍스트 붙여넣기]

질문: 개봉한 상품도 환불돼?

한 줄 정리: 답의 재료를 직접 쥐어주면 AI가 헤맬 여지가 줄어듭니다. Google Cloud는 grounding을 모델 출력을 검증 가능한 정보원에 연결하는 방식으로 설명하며, 사실이 아닌 내용을 만들어낼 가능성을 줄인다고 안내합니다. 사규, 계약서, 매뉴얼처럼 우리만의 정확한 답이 필요할 때 특히 강력합니다.

아래 [자료] 안에서만 답해줘.
자료에 없는 내용은 추측하지 말고 "자료에 없음"이라고 표시해줘.
답변마다 근거가 된 문장이나 항목을 함께 적어줘.

[자료]
여기에 원문을 붙여넣기

[질문]
여기에 질문 쓰기

습관 4. 확신도를 표시해줘

답을 받되, 각 항목이 얼마나 믿을 만한지도 함께 표시하게 하는 방법입니다. 그러면 사실과 추측이 한 덩어리로 섞여 나오는 일을 막을 수 있습니다.

이 영양제 성분 세 가지의 효능 정리해줘.

이 영양제 성분 세 가지의 효능을 정리하되,
각 항목 끝에 [근거 충분 / 근거 제한적 / 불확실]을 표시하고,
불확실한 건 그렇게 말해줘.

한 줄 정리: 확신도 표시는 사실과 추측에 서로 다른 라벨을 붙이게 만들어, 어디를 의심해야 할지 보여줍니다. 환각의 뿌리가 불확실함을 인정하지 않는 것에 있다면, 인정할 자리를 열어 주는 방법입니다.

각 답변 항목 끝에 신뢰도를 표시해줘.
표시는 [근거 충분 / 근거 제한적 / 불확실] 중 하나로 해줘.
불확실한 항목은 왜 불확실한지도 한 줄로 설명해줘.

습관 5. 바로 답하지 말고 단계로 쪼개 검산하게

계산이나 추론이 필요한 질문에서, AI는 결론으로 성급하게 건너뛰다 틀릴 수 있습니다. 그러니 과정을 단계별로 적고 마지막에 검산하라고 시키면 오류를 사람이 확인하기 쉬워집니다.

월 30만 원씩 3년 부으면 원금 얼마야?

월 30만 원씩 3년 부으면 원금 얼마야?
바로 답하지 말고, 풀이 과정을 단계별로 적은 뒤
마지막에 검산까지 해줘.

한 줄 정리: 복잡할수록 한 번에 답하지 말라는 조건이 도움이 됩니다. 중간 과정을 펼치면 사람이 오류를 더 빨리 찾을 수 있고, 검산이 한 번 더 걸러줍니다.

바로 결론부터 말하지 말고,
1단계부터 순서대로 계산 또는 판단 과정을 적어줘.
마지막에는 다른 방식으로 한 번 검산하고,
두 결과가 다르면 "불일치"라고 표시해줘.

한 번에 붙여 쓰는 환각 방지 문장: 확실하지 않으면 추측하지 말고 확실하지 않다고 표시해줘. 답변마다 출처와 기준 시점을 적고, 제공한 자료 밖의 내용은 자료에 없음이라고 해줘. 계산이나 추론은 단계별로 적고 마지막에 검산해줘.

그래서 오늘부터 무엇을 하면 될까

환각은 AI를 쓰는 한 완전히 사라지지 않습니다. 그러니 없애려 하기보다 줄이고 걸러내는 쪽으로 마음을 바꾸는 게 현실적입니다.

오늘 당장 해볼 한 가지를 고른다면, 습관 1을 권합니다. 다음에 AI에게 사실을 물을 때, 질문 끝에 "확실하지 않으면 모른다고 해"를 붙여보세요. 단 한 문장인데, 자신 있게 틀린 답을 줄이는 데 도움이 됩니다.

한 발 더 나가자면, 이 다섯 가지를 따로 외울 필요도 없습니다. 중요한 답일수록 "근거를 대고, 모르면 모른다고 하고, 자료 안에서만 답해"를 습관처럼 덧붙이면 됩니다. AI는 점점 똑똑해지겠지만, 모를 때 모른다고 말하게 만드는 책임은 한동안 쓰는 사람 몫으로 남습니다. 그 책임을 질문 한 줄로 대신할 수 있다면, 꽤 남는 거래입니다.