AI가 그럴듯한 거짓말을 할 때 — 환각을 줄이는 프롬프트 습관 5가지

2025년 9월, 캘리포니아 항소법원이 한 변호사에게 1만 달러의 제재금을 물렸습니다. 그가 낸 항소이유서에 인용된 판례 23건 중 21건이 존재하지 않는 판례였기 때문입니다. ChatGPT가 만들어낸 것을 그대로 옮겨 적었고, 직접 열어보지 않았습니다.

법원은 판결문에 이렇게 적었습니다. 어떤 서면이든 변호사가 직접 읽고 검증하지 않은 인용을 담아서는 안 된다고. 생성형 AI가 준 것이든 다른 어디서 온 것이든 마찬가지라고 덧붙였고요.

이 사건에서 이상한 대목은 변호사의 부주의가 아닙니다. AI가 왜 없는 판례를 21건이나 지어냈는가입니다. 모르면 모른다고 하면 될 일인데, 왜 굳이 그럴듯한 사건명과 판결 연도까지 만들어 붙였을까요.

모른다고 말할 이유가 없기 때문입니다

2025년 9월에 나온 ‘언어모델은 왜 환각을 일으키는가’라는 논문이 이 질문에 답합니다. 결론부터 말하면 환각은 신비한 고장이 아닙니다. 논문은 환각이 참과 거짓을 가르는 분류에서 생기는 오류일 뿐이며, 특별할 게 없다고 설명합니다.

더 중요한 건 그다음 문장입니다. 언어모델은 시험을 잘 보도록 최적화되어 있고, 불확실할 때 찍는 것이 시험 점수를 올린다는 것입니다.

객관식 시험을 떠올리면 바로 이해됩니다. 모르는 문제를 빈칸으로 두면 확실히 0점입니다. 아무거나 찍으면 맞을 확률이 조금이라도 있습니다. 오답 감점이 없는 시험이라면 찍는 쪽이 언제나 유리합니다. 그리고 지금 AI 모델을 평가하는 방식이 대체로 그런 시험입니다. “모르겠습니다”라고 답하면 점수를 못 받고, 틀리게라도 답하면 가끔 맞습니다. 논문은 이런 평가 관행을 두고 불확실한 답에 벌점을 주는 유행병이라고 표현합니다.

그러니까 AI는 우리를 속이도록 훈련된 게 아닙니다. 빈칸을 남기지 않도록 훈련됐습니다. 없는 판례를 지어낸 것도 거짓말을 하려던 게 아니라, 판례 인용이 들어갈 자리를 비워두는 선택지가 애초에 학습에서 보상받지 못했기 때문입니다.

그래서 프롬프트는 채점 기준을 바꾸는 일입니다

이렇게 보면 흔히 말하는 프롬프트 요령의 의미가 달라집니다. 말을 예쁘게 하는 기술이 아니라, 이 답안을 어떻게 채점할지 미리 알려주는 일입니다. 자주 쓰이는 다섯 가지를 그 관점에서 다시 읽어보면 이렇습니다.

“모르면 모른다고 해”는 빈칸에 감점을 주지 않겠다는 선언입니다. 찍을 이유를 없애주는 셈이죠. 다만 이 한 줄만으로는 약합니다. “확실하지 않은 항목은 ‘확인 필요’로 표시하라”처럼 빈칸의 형식까지 정해주면 훨씬 잘 듣습니다. 답을 비우는 것도 하나의 답이 되게 만드는 겁니다.

“출처와 기준 시점을 붙여”는 정답만이 아니라 근거도 채점 대상이라고 알리는 것입니다. 특히 기준 시점이 중요합니다. 통계와 가격, 법 조항은 ‘맞다/틀리다’가 아니라 ‘언제 기준으로 맞다’로 존재하기 때문입니다.

“내가 준 자료 안에서만 답해”는 시험 범위를 좁히는 일입니다. 원문이나 회의록을 붙여넣고 그 안에서만 답하게 하면 지어낼 여지 자체가 줄어듭니다. 다섯 가지 중 효과가 가장 확실한 방법이기도 합니다. 모델 제작사들이 문서를 함께 제공하는 방식을 권하는 이유가 이것입니다.

“확실한 사실과 추론과 확인 필요를 구분해”는 부분 점수 제도를 만드는 것입니다. 전부 아니면 전무로 답하게 하지 않으면, 애매한 것을 애매하다고 적을 자리가 생깁니다.

“단계를 적고 검산해”는 풀이 과정도 채점하겠다는 뜻입니다. 숫자를 다룰 때 특히 효과가 있습니다. 답만 요구하면 그럴듯한 숫자가 바로 튀어나오지만, 식과 단위를 적게 하면 중간에서 어긋나는 지점이 눈에 보입니다.

하나로 묶은 형태

다섯 가지를 매번 나눠 쓸 필요는 없습니다. 중요한 질문을 할 때는 아래를 통째로 붙여넣고 위쪽 대괄호만 채우면 됩니다.

[질문]
(여기에 알고 싶은 내용을 적기)

[답변 규칙]
1. 내가 제공한 자료가 있으면 그 자료 안에서만 답해.
2. 자료에 없는 내용은 추측하지 말고 "확인할 수 없음"이라고 표시해.
3. 사실 주장마다 근거가 된 문서명·항목·기준 시점을 붙여.
4. 확실한 사실, 합리적 추론, 확인이 필요한 내용을 구분해.
5. 숫자 계산은 식과 단위를 보여주고 다른 방식으로 한 번 검산해.
6. 마지막에 내가 직접 확인해야 할 항목을 체크리스트로 남겨.

[제공 자료]
(원문, 표, 회의 메모, 링크에서 복사한 문단을 붙이기)

다만 모든 질문에 이걸 붙이면 오히려 답이 장황해집니다. 기준을 하나 두면 편합니다. 틀렸을 때 내가 감당해야 하는 결과가 큰 질문에만 붙이는 것입니다. 아이디어를 굴리거나 초안을 잡을 때는 그냥 물어도 됩니다. 반대로 숫자가 들어가는 계산, 법이나 세금, 건강, 그리고 남에게 보여줄 문서라면 전부 적용할 만합니다. 앞의 변호사 사건은 정확히 후자였습니다.

그래도 남는 몫이 있습니다

솔직히 말하면 이 다섯 가지로 환각이 사라지지는 않습니다. 확률을 낮출 뿐입니다. 논문도 프롬프트를 해법으로 제시하지 않습니다. 평가와 채점 방식 자체를 바꾸는 것이 필요하다고 말하죠. 그건 모델을 만드는 쪽의 일이고, 사용자가 할 수 있는 건 답을 받은 뒤의 몫입니다.

그 몫은 세 줄이면 됩니다. 답을 받고 나서 스스로에게 물어보세요. 이 숫자는 언제 기준인가. 이 인용은 원문 어디에 있는가. 이 답에서 확인하지 못한 것은 무엇인가. 세 번째 질문이 가장 중요합니다. AI가 스스로 비워두지 못한 칸을 사람이 대신 찾아내는 일이니까요.

변호사가 놓친 것도 딱 그 한 단계였습니다. 인용 21건을 지어낸 건 AI였지만, 그것을 열어보지 않고 법원에 낸 건 사람이었습니다. 프롬프트로 할 수 있는 일과 사람이 해야 하는 일의 경계가 거기 있습니다.

참고 자료와 확인한 내용

• Why Language Models Hallucinate — Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, 2025-09-04. 환각이 참·거짓 분류의 오류에서 비롯되며 특별한 현상이 아니라는 설명, 언어모델이 시험을 잘 보도록 최적화되어 불확실할 때 찍는 것이 점수를 올린다는 분석, 불확실한 답에 벌점을 주는 평가 관행을 바꿔야 한다는 제언을 확인했습니다. 2026-08-12 확인.
• 캘리포니아 항소법원의 변호사 제재 — CalMatters, 2025-09. 캘리포니아 제2항소법원이 2025년 9월 변호사에게 1만 달러 제재금을 부과한 사건입니다. 항소이유서의 인용 23건 중 21건이 존재하지 않았고, 법원이 “변호사가 직접 읽고 검증하지 않은 인용을 어떤 서면에도 담아서는 안 된다”고 밝힌 대목을 확인했습니다. 2026-08-12 확인.
• OpenAI 프롬프트 가이드 — OpenAI. 지시를 명시적으로 주고 근거 자료를 함께 제공하라는 권고를 참고했습니다. 2026-08-12 확인.
• Vertex AI grounding — Google Cloud. 모델의 답을 특정 자료에 묶어 신뢰도를 높이는 접근을 참고했습니다. 2026-08-12 확인.