AI는 왜 자신 있게 틀릴까 — '환각'이 사라지지 않는 구조

AI에게 무언가를 물으면, 가끔 존재하지 않는 사실을 진짜처럼 술술 말합니다. 없는 논문을 인용하고, 없는 판례 번호를 대고, 틀린 날짜를 확신에 차서 답합니다. 이걸 ‘환각(hallucination)‘이라 부릅니다. 그런데 이상합니다 — 모델이 해마다 좋아지는데 왜 이 문제는 끈질기게 남을까요.

답은 의외입니다. 환각은 고쳐야 할 고장이 아니라, 우리가 AI를 가르치고 채점하는 방식이 만들어 낸 구조적 결과이기 때문입니다. OpenAI 연구진이 2025년 9월 발표한 논문 「Why Language Models Hallucinate」의 핵심이 바로 이것입니다. 시험에서 빈칸은 0점이지만 찍으면 가끔 맞는다면, 똑똑한 학생은 일단 찍고 봅니다. AI도 똑같이 길러졌습니다.

이 글은 그 구조를 풀어 봅니다. 왜 AI가 ‘모른다’는 말을 잘 못 하는지, 왜 더 똑똑한 추론 모델이 오히려 더 자주 틀렸는지, 그리고 이 환각이 이미 법정과 학술지에 어떤 비용을 치르게 하고 있는지를 — 실제 데이터와 사건으로 봅니다.

핵심 요약

• AI 환각은 버그가 아니라 훈련·평가 방식의 산물이다. 평가가 ‘모른다’를 0점 처리하고 ‘찍기’를 보상하는 한 구조적으로 남는다 — OpenAI, 2025.
• AI는 어려운 시험을 보는 학생처럼 행동한다. 모르는 생일을 물으면 ‘모른다’는 0점, 찍으면 1/365 확률 — 그래서 찍는 모델이 점수가 높게 나온다.
• 더 똑똑한 모델이 더 자주, 더 자신 있게 틀리기도 한다. 2026년 평가에서 정확도 1위 GPT-5.5가 환각률도 1위(85.5%)였다 — 모를 때 ‘모른다’ 대신 답해 버려서다(Artificial Analysis).
• 이미 현실의 비용이다. 컬럼비아대 감사 결과 바이오의학 논문의 허위 인용이 2023년 2,828편당 1편 → 2026년 277편당 1편으로 약 12배 늘었다 — The Lancet·Fortune.
• 자신 있는 말투는 정확도의 신호가 아니다. 출처와 사실은 따로 확인해야 한다.

먼저, 환각이 실제로 어떻게 생겼는지 한 장면으로 보겠습니다. 아래는 환각을 설명하기 위해 구성한 가상 대화입니다.

위 ‘23%‘도, ‘디지털정책연구소’도 실재하지 않습니다. 그런데도 AI는 숫자·기관명·연도라는 출처의 형식까지 갖춰 자신 있게 답합니다. 바로 이 ‘그럴듯함’이 환각의 핵심입니다. 사람을 속이려는 게 아니라, 빈칸을 그럴듯한 무언가로 채우도록 길러졌기 때문입니다. 그럼 왜 이렇게 길러졌을까요.

‘환각’은 거짓말이 아니다 — 그럴듯한 오류다

먼저 단어부터 바로잡고 시작합니다. 환각은 AI가 ‘거짓말’을 하는 게 아닙니다. 거짓말에는 의도가 있지만, AI에는 속이려는 의도가 없습니다. 환각은 그럴듯하지만 사실이 아닌 내용을 사실처럼 생성하는 오류입니다.

OpenAI 논문은 이 현상을 신비롭게 볼 필요가 없다고 말합니다. 환각은 본질적으로 ‘이 문장이 사실인가, 아닌가’를 가르는 이진 분류의 오류일 뿐이라는 것입니다. 사실과 거짓을 완벽히 구분할 수 없는 한, 통계적으로 학습한 모델에서는 환각이 자연스럽게 발생합니다. 특히 학습 데이터에 딱 한 번만 등장한 희귀한 사실(논문은 이를 ‘싱글턴 사실’이라 부릅니다)에서 오류율이 높습니다. 유명인의 생일은 잘 맞히지만, 무명인의 생일은 지어내는 이유가 여기 있습니다.

그러니 환각은 ‘나쁜 AI’의 문제가 아니라 ‘언어를 확률로 예측하는 기계’의 기본 성질에 가깝습니다. 문제는 그 다음입니다. 이 성질을 줄이도록 길러야 하는데, 우리는 정반대로 길러 왔습니다.

시험 보는 학생: AI가 ‘찍도록’ 길러진 이유

OpenAI 논문에서 가장 강력한 통찰은 비유 하나로 압축됩니다. AI는 어려운 시험 문제를 마주한 학생처럼 행동합니다.

객관식 시험을 떠올려 봅시다. 모르는 문제를 빈칸으로 두면 0점입니다. 하지만 아무거나 찍으면 가끔 맞습니다. 그렇다면 점수를 최대화하는 전략은 분명합니다 — 모르더라도 일단 찍어 보는 것. 논문이 든 예시가 인상적입니다. 모르는 사람의 생일을 물었을 때 ‘모른다’고 답하면 0점이지만, 아무 날짜나 찍으면 1/365 확률로 맞습니다. 수천 개의 문항을 거치면, 자신 있게 찍는 모델이 신중하게 ‘모른다’고 답하는 모델보다 점수가 높게 나옵니다.

이 비유는 우리가 일상에서 겪는 환각의 패턴과 정확히 맞아떨어집니다. 유명한 사람의 생일은 AI가 잘 맞힙니다 — 학습 데이터에 수없이 등장했으니까요. 하지만 동네 식당 사장님이나 덜 알려진 연구자의 생일을 물으면, 데이터에 거의 없으니 그냥 그럴듯한 날짜를 지어냅니다. 앞 절에서 말한 ‘싱글턴 사실’에서 오류율이 높다는 게 이것입니다. 그러니 “AI가 유명한 건 잘 아니까 무명한 것도 알겠지”라는 기대가 가장 위험합니다. 잘 모르는 영역일수록 더 자신 있게 지어낼 수 있으니까요.

문제는 우리가 AI를 정확히 이 방식으로 채점해 왔다는 데 있습니다. AI 모델의 성능을 매기는 벤치마크 대부분은 정답이면 점수를 주고, 오답이든 ‘모른다’든 똑같이 0점을 줍니다. 그러면 모델 입장에서 ‘모른다’고 답하는 건 손해입니다. 찍으면 적어도 가끔은 점수를 따니까요. 논문의 표현을 빌리면, “언어 모델은 좋은 시험 응시자가 되도록 최적화되며, 불확실할 때 찍는 것이 시험 성적을 올린다.”

간단한 숫자로 보면 더 분명합니다. 100문제 시험에서, 모델 A는 모를 때도 늘 찍고 모델 B는 모르면 솔직히 ‘모른다’고 한다고 합시다. 둘 다 40문제는 확실히 알아서 맞혔고, 나머지 60문제는 모릅니다. 모델 B는 그 60문제를 ‘모른다’로 비워 40점. 모델 A는 60문제를 다 찍어서, 운으로 10문제쯤 더 맞히면 50점. 시험표 위에서는 더 많이 지어낸 A가 ‘더 똑똑한 모델’로 기록됩니다. 정직하게 모른다고 한 B가 손해를 보는 구조 — 모델을 만드는 사람들은 이 점수표를 보고 다음 모델을 다듬습니다. 그러니 ‘잘 찍는 능력’이 대를 거듭하며 강화되는 겁니다.

여기서 핵심 결론이 나옵니다. 환각은 모델이 게을러서가 아니라, 우리가 만든 채점표가 ‘자신 있게 찍기’에 상을 주기 때문에 생깁니다. 그래서 OpenAI 연구진의 해법도 ‘새로운 환각 측정 시험을 하나 더 만들자’가 아니라, 리더보드를 지배하는 기존 벤치마크의 채점 방식 자체를 바꾸자는 것입니다. ‘모른다’고 표현했을 때 부당하게 0점 처리되지 않게, 오히려 모르면서 우긴 답에 더 큰 감점을 주자는 제안입니다. 채점표가 바뀌어야 모델의 행동이 바뀐다는 이야기입니다.

그래서 더 똑똑한 모델이 더 자주 틀렸다

여기까지 오면 직관에 반하는 현상이 설명됩니다. ‘모델이 똑똑해지면 환각이 줄겠지’라는 기대가 데이터에서는 그대로 들어맞지 않습니다. 오히려 가장 똑똑한 모델이 가장 자주, 가장 자신 있게 틀리기도 합니다.

2026년 벤치마크 한 곳(Artificial Analysis의 ‘AA-Omniscience’)이 이걸 선명하게 보여줍니다. 이 평가는 단순 정답률이 아니라, 모델이 모르거나 틀릴 때 ‘모른다’고 물러서는지, 아니면 틀린 답을 내놓는지를 따집니다 — 이 글이 말하는 ‘찍기’를 정면으로 잰 셈입니다.

놀라운 건 GPT-5.5입니다. 이 모델은 사실 지식 정확도가 57%로 측정된 모델 중 가장 높았습니다. 그런데 환각률도 가장 높았습니다(85.5%). 아는 건 제일 많은데, 모르는 걸 만났을 때 ‘모른다’고 인정하기보다 일단 답해 버리는 경향이 가장 컸던 것입니다 — Artificial Analysis, 2026. 똑똑함과 정직함이 따로 논다는 걸 이보다 잘 보여주는 데이터도 드뭅니다.

이게 새삼스러운 일은 아닙니다. 같은 현상이 처음 또렷이 드러난 건 2025년이었습니다. OpenAI가 공개한 o3·o4-mini 시스템 카드에서, 추론에 특화된 신모델이 인물 질의(PersonQA) 환각률에서 이전 세대 o1(16%)보다 더 높은 값(o3 33%, o4-mini 48%)을 보였거든요. 회사 스스로 추론 모델은 ‘더 많은 주장을 한다’며 맞는 말도 틀린 말도 함께 늘어난다고 적었습니다. 1년이 지나 모델은 GPT-5·클로드·제미나이로 바뀌었지만, 패턴은 그대로입니다.

요약 과제에서도 마찬가지입니다. Vectara가 2025년 말 더 어려운 데이터셋(약 7,700개 문서)으로 리더보드를 개편하자, 2026년 현행 플래그십이 모두 요약 환각률 10%를 넘겼고, ‘추론’을 앞세운 모델일수록 문서에 없는 내용을 덧붙여 더 자주 틀렸습니다 — Vectara, 2026. 벤치마크가 달라도 결론은 같습니다. 모델 등급만 믿고 검증을 건너뛰는 것이 오히려 위험할 수 있다는 것입니다.

‘환각률 몇 %‘라는 숫자의 함정

그렇다고 ‘o4-mini는 환각률 48%니까 못 쓰겠다’고 단정하면 곤란합니다. 저 숫자는 모르는 인물을 묻는 개방형 질의에서 나온 값이기 때문입니다. 과제가 바뀌면 환각률도 완전히 달라집니다.

예를 들어 ‘주어진 문서를 읽고 요약하라’처럼 답의 재료가 눈앞에 있는 과제에서는 환각률이 훨씬 낮습니다. Vectara의 요약 환각 리더보드를 보면 상위 모델의 요약 환각률은 쉬운 문서에서 한 자릿수, 길고 어려운 문서에서도 대체로 10% 안팎입니다 — 개방형 인물 질의의 수십 %와는 확연히 다른 수준입니다. 같은 AI라도, 모르는 걸 캐묻는 자리에서는 자주 지어내고 자료를 주고 정리시키는 자리에서는 훨씬 덜 지어낸다는 뜻입니다.

측정 과제	대표 환각률	의미
개방형 인물 질의 (PersonQA)	16~48%+	모르는 사실을 캐물으면 자주 지어냄
문서 요약 (Vectara HHEM)	한 자릿수~10%대	자료가 주어지면 확연히 덜 지어냄

그래서 ‘AI 환각률은 X%‘라는 한 줄짜리 숫자는 사실 존재하지 않습니다. 어떤 과제로 쟀는지를 빼면 의미가 없습니다. 이건 실전에서 유용한 교훈으로 이어집니다 — AI에게 ‘아는지 떠보는’ 질문보다 ‘자료를 주고 정리시키는’ 질문이 훨씬 안전합니다.

자료를 쥐여주면 덜 틀린다 — 질문만 바꿔도

왜 요약은 환각이 적을까요. 답의 재료가 눈앞에 있으면, AI가 기억을 더듬어 지어낼 이유가 없기 때문입니다. 모르는 걸 캐물으면 빈칸을 메우려 찍지만, 자료를 주면 그 안에서 추려 옵니다. 똑같은 궁금증도 ‘묻는 방식’만 바꾸면 환각이 확 줄어드는 이유입니다.

회사 환불 규정이 궁금하다고 해 봅시다.

🙅 떠보는 질문 (환각이 잘 생김) — “○○쇼핑몰 환불 규정 알려줘” → AI가 비슷한 쇼핑몰들의 일반적 규정을 기억에서 ‘평균 내어’ 그럴듯하게 지어낼 수 있습니다. 실제 그 쇼핑몰 규정과 다를 수 있죠.

🙆 자료를 주는 질문 (환각이 줄어듦) — “아래 이용약관을 읽고 ‘환불’ 부분만 정리해줘: (약관 본문 붙여넣기)” → 답의 근거가 약관 안에 있으니, AI는 지어낼 필요 없이 그 문서에서 뽑아 옵니다.

ChatGPT 같은 도구가 웹 검색을 붙이거나, 사내 문서를 함께 읽고 답하는 방식(흔히 ‘RAG’라 부릅니다)이 환각을 줄이는 것도 같은 원리입니다. AI에게 ‘기억하라’가 아니라 ‘읽고 정리하라’를 시키는 것 — 이 작은 차이가 신뢰도를 크게 가릅니다.

이미 현실의 비용: 법정에 선 가짜 판례

이 모든 게 학술적인 이야기처럼 들릴 수 있지만, 환각은 이미 현실에서 값을 치르고 있습니다. 가장 상징적인 무대가 법정입니다.

시작은 2023년 미국 뉴욕의 ‘Mata 대 Avianca’ 사건이었습니다. 한 변호사가 ChatGPT가 만들어 준 판례 6건을 법원 서면에 인용했는데, 그 판례들이 전부 존재하지 않았습니다. 담당 판사는 “가짜 판결, 가짜 인용문, 가짜 내부 인용으로 가득하다”고 질타했고, 변호사들에게 5,000달러의 벌금과 함께 가짜 판결에 이름이 등장한 실제 판사들에게 정정 서한을 보내라고 명령했습니다 — CNN 보도.

그 뒤로 이런 일은 예외가 아니라 흐름이 됐습니다. 법률 연구자 다미앵 샤를로탱이 운영하는 ‘AI 환각 판례’ 데이터베이스에는 변호사가 AI가 지어낸 판례·인용을 법원에 제출한 사례가 수백 건에서 1,600여 건 규모로 쌓였고, 미국을 넘어 여러 나라에서 보고되고 있습니다. 한 보도에 따르면 2026년 3월 31일 단 하루에 미국 법원 17곳이 서면 속 AI 환각 의심을 언급했습니다.

학술지: 논문 속으로 스며든 가짜 인용

법정만이 아닙니다. 학술 논문에도 가짜 인용이 빠르게 번지고 있습니다. 컬럼비아대 간호대학 연구팀이 의학 데이터베이스 PubMed의 논문 약 250만 편과 인용 9,700만 건을 감사한 결과(2026년 5월 The Lancet 게재, Fortune 보도), 약 3,000편의 논문에서 4,000건이 넘는 존재하지 않는 인용이 발견됐습니다.

더 무서운 건 추세입니다. 허위 인용이 든 논문의 비율이 2023년 2,828편당 1편에서 2026년 첫 7주 277편당 1편으로 약 12배 늘었습니다. 그리고 그런 논문의 98.4%가 감사 시점까지 철회되지 않은 채 학술 기록에 남아 있었습니다. 연구를 이끈 교수 본인의 논문에도, AI 도구가 심사 과정에서야 발견된 가짜 출처를 ‘조용히’ 끼워 넣은 적이 있었다고 합니다.

한국의 법정에서도

남의 나라 이야기가 아닙니다. 2025년, 한 지방 법원 형사재판부에서 변호사가 제출한 의견서의 인용 판결 5건이 전산망 조회 결과 모두 존재하지 않는 것으로 확인됐습니다(법률신문 보도). 재판부가 출처를 묻자 변호사는 ‘AI를 사용했다’고 인정했습니다. 구체적인 처분은 알려지지 않았지만, 법원은 움직이기 시작했습니다. 법원행정처는 2025년 11월부터 2026년 3월까지 ‘AI 활용 허위 주장·증거 대응’ 태스크포스를 운영했고, 2026년 2월에는 사법정보공개포털에 인용된 사건번호가 실제로 존재하는지 확인해 주는 서비스를 열었습니다. 나아가 허위 인용에 대해 소송비용 부담·변론 진술 제한·대한변협 징계 의뢰, 그리고 과태료를 물리는 민사소송규칙 개정까지 검토되고 있습니다. 전문가가 검증해야 할 자리에서조차 AI의 그럴듯한 답을 그대로 믿었다가 벌어진 일들입니다.

환각이 특히 위험한 자리

법정과 학술지가 극단적인 사례라면, 환각의 위험은 우리 일상에도 그대로 들어와 있습니다. 공통점은 하나입니다 — 틀렸을 때 대가가 크고, 진위를 직접 확인하기 어려운 영역.

• 건강·의료: “이 증상에 무슨 약이 좋아?”처럼 물으면 AI가 없는 용량이나 상호작용을 자신 있게 말할 수 있습니다. 의료 정보는 환각이 가장 위험한 곳이라, 반드시 전문가·공식 자료로 교차 확인해야 합니다.
• 법률·세무·계약: 위 사례들처럼 없는 조항·판례를 지어내기 쉽습니다. “내 상황에 맞는 법 조항”을 물어 받은 답은 출발점일 뿐, 그대로 근거로 삼으면 안 됩니다.
• 숫자·통계·인용: 보고서나 발표 자료에 AI가 만든 가짜 수치·출처가 섞이면, 앞의 학술지 사례처럼 검증 없이 퍼집니다. 인용할 숫자는 원출처를 한 번 여는 습관이 안전합니다.
• 최신 정보·고유명사: 모델이 학습한 시점 이후의 일, 또는 유명하지 않은 사람·제품·지명은 환각이 잦습니다. “그건 내가 학습한 이후라 모를 수 있어”라고 AI가 스스로 말하게 두는 편이 낫습니다.

똑똑해질수록 더 위험해지는 역설

여기서 한 가지 불편한 역설을 짚어야 합니다. 모델이 좋아지면서 일부 환각률 수치는 내려갔지만, 잡아내기는 오히려 더 어려워졌습니다.

이유는 단순합니다. 예전 AI의 환각은 어딘가 어색해서 티가 났습니다. 그런데 요즘 모델의 환각은 정답 사이에 자연스럽게 섞여 들어, 문장이 매끄럽고 완결돼 있고 그럴듯합니다. 한 보도에 따르면 AI는 틀린 정보를 생성할 때 맞는 정보를 생성할 때보다 더 단정적인 표현을 쓰는 경향이 있다고도 합니다. 즉 틀린 답일수록 더 자신만만하게 들릴 수 있다는 것입니다.

이건 우리가 이미 다룬 이메일 한 통으로 AI 비서를 조종하는 ‘프롬프트 인젝션’이나 진짜와 가짜 이미지를 가려내는 법과 같은 결의 교훈으로 이어집니다 — AI가 내놓은 결과물의 ‘겉모습’을 신뢰의 근거로 삼으면 안 된다는 것. 매끄러움과 정확함은 별개입니다.

왜 우리는 ‘AI의 자신감’에 잘 속을까

환각이 위험한 데는 AI만의 잘못이 아니라, 그걸 받아들이는 사람의 습성도 한몫합니다. 우리는 본능적으로 막힘없이, 정중하게, 구체적으로 말하는 상대를 더 믿습니다. 사람을 상대할 때 길러진 이 신뢰 신호가 AI에게도 그대로 작동합니다.

그런데 AI는 사람과 달리, 모를 때조차 똑같이 매끄럽고 정중하게 말합니다. 사람이라면 모르는 걸 물었을 때 말끝을 흐리거나 “글쎄요…” 하며 멈칫하는데, AI에는 그런 머뭇거림의 신호가 없습니다. 틀린 답도 맞는 답과 토씨 하나 다르지 않은 자신감으로 나옵니다. 그래서 우리는 ‘말투’라는 평소의 단서를 잃은 채, 내용만으로 진위를 판단해야 하는 낯선 상황에 놓입니다.

여기에 ‘자동화 편향’이 더해집니다. 기계가 내놓은 답을 사람이 직접 따져 보지 않고 그대로 받아들이는 경향입니다. 계산기가 늘 맞으니 AI도 그러려니 하는 것이죠. 하지만 계산기와 달리 AI는 ‘그럴듯하게 지어내는’ 기계라는 점이 다릅니다. 결국 환각에 안 당하려면, 기술만이 아니라 ‘매끄러우면 믿는다’는 우리 안의 기본값부터 한 칸 의심하는 연습이 필요합니다.

AI는 이렇게 자신 있게 틀린다 — 다섯 장면

말로만 들으면 와닿지 않으니, 환각이 자주 나타나는 전형적인 장면을 모아 봤습니다. 아래는 모두 환각을 보여주기 위해 구성한 가상 예시입니다 — 등장하는 제목·인물·수치는 실재하지 않습니다.

다섯 장면의 공통점이 보이시나요. 전부 형식은 완벽하고, 내용만 틀렸습니다. 그래서 무섭습니다.

그래서 나는 무엇을 하면 되나

구조를 이해하면 대응도 달라집니다. 환각을 ‘완전히 없애는’ 마법은 없지만(구조적 문제라서 그렇습니다), 당하지 않을 습관은 분명히 있습니다. 핵심은 환각이 잘 생기는 자리를 피하는 것입니다.

• 모르면 모른다고 답하라고 명시한다. AI는 기본적으로 ‘찍도록’ 길러졌으니, 프롬프트에서 회피할 여지를 직접 줍니다. 예를 들어 질문 끝에 *“확실하지 않으면 추측하지 말고 ‘모른다’고 답해”*를 붙이면, 모델이 빈칸을 메우는 대신 솔직히 모른다고 말할 명분이 생깁니다. ‘모른다’를 허락받지 못한 AI는 지어낼 수밖에 없습니다.
• 출처를 요구하고 직접 확인한다. 학술지 사례에서 허위 인용의 98.4%가 검증 없이 통과됐다는 사실이 역설적인 교훈입니다. *“근거가 된 출처의 제목과 링크를 함께 줘”*라고 요청하고, 그 링크를 한 번은 직접 열어 봅니다. 링크가 없거나 열리지 않으면, 그 수치는 일단 의심합니다.
• 희귀한 사실일수록 의심한다. 환각은 학습 데이터에 드물게 등장한 ‘싱글턴 사실’에서 잘 생깁니다. 유명 인물·대형 사건은 비교적 안전하지만, 잘 알려지지 않은 사람·지역 맛집·소규모 연구·특정 제품의 세부 사양 같은 건 교차 확인이 필수입니다. “이건 유명하지 않은 건데”라는 생각이 들면 경보를 켭니다.
• 자신만만한 말투를 신뢰의 근거로 삼지 않는다. 확신의 어조와 정확도는 무관합니다. 오히려 틀릴 때 더 단정적일 수 있다는 점을 기억합니다. “단호하게 말하니 맞겠지”가 아니라, “단호할수록 한 번 더 확인”이 안전합니다.

요약하면, 의심이 필요한 순간은 다음과 같습니다.

환각 경보 3초 점검

• 유명하지 않은 사람·사건·제품에 대한 구체적 사실인가? → 교차 확인
• 숫자·통계·인용·법 조항·판례가 들어 있나? → 원출처 직접 확인
• 내 질문이 ‘자료 없이 떠보는’ 형태인가? → 자료를 주고 다시 묻기
• 학습 시점 이후의 최신 정보인가? → 검색 연결 또는 최신 출처로 확인

각 항목을 프롬프트로 더 구체화하는 방법은 AI가 그럴듯한 거짓말을 할 때 — 환각을 줄이는 프롬프트 습관에서 다룹니다. 이 글이 ‘왜 생기나’라면, 그 글은 ‘그래서 어떻게 묻나’에 해당합니다.

결론: 버그가 아니라 설계

환각을 둘러싼 흔한 기대는 “다음 모델이 나오면 해결되겠지”입니다. 하지만 OpenAI의 분석이 맞다면, 그것만으로는 부족합니다. 환각은 모델의 결함이 아니라 우리가 AI에게 점수를 매기는 방식이 만든 행동이기 때문입니다. ‘모른다’고 말하면 손해 보는 채점표를 바꾸지 않는 한, AI는 계속 자신 있게 찍을 것입니다.

그러니 이 문제의 해법은 두 방향입니다. 만드는 쪽에서는 불확실성을 정직하게 표현하는 모델에 더 좋은 점수를 주도록 평가 방식을 바꾸는 것 — ‘모른다’에 더 이상 0점을 주지 않고, 모르면서 우긴 답에 더 큰 감점을 주는 채점표로 옮겨 가는 것입니다. 실제로 일부 모델이 예전보다 “그건 확실하지 않습니다”라고 더 자주 말하기 시작한 것도 이런 흐름의 신호로 읽힙니다.

쓰는 쪽에서 할 일은 더 단순합니다. ‘AI가 확신에 차 있다’는 사실을 ‘맞다’의 증거로 착각하지 않는 것. 그리고 중요한 숫자·인용·결정 앞에서는, 앞서 본 네 가지 습관처럼 한 번 더 확인하는 것입니다. 환각을 완전히 없앨 수는 없어도, 환각이 잘 생기는 자리를 알면 피해 갈 수 있습니다.

AI는 거짓말쟁이가 아니라, 모른다고 말하면 손해 보도록 길러진 모범생입니다. 그 사실 하나만 기억해도, 우리는 AI의 답을 훨씬 더 안전하게 쓸 수 있습니다. 자신만만한 답일수록, 그 자신감이 어디서 왔는지를 한 번 묻는 것 — 그것이 AI 시대의 가장 값싼 보험입니다.

참고 자료

• Kalai, Nachum, Vempala, Zhang (OpenAI). “Why Language Models Hallucinate” (환각은 훈련·평가가 추측을 보상한 결과 — 시험 보는 학생 비유). arXiv:2509.04664, 2025-09-04. 2026-06-15 확인. 자료 보기
• OpenAI. “Why language models hallucinate” (논문의 일반 독자용 해설). 2025-09. 2026-06-15 확인. 자료 보기
• Artificial Analysis. “AA-Omniscience” (정확도 1위 GPT-5.5의 환각률이 85.5%로 최고, Gemini 3.1 Pro 49.9%·Claude Opus 4.7 36.2%; 환각률=모르거나 틀릴 때 ‘모른다’ 대신 틀린 답을 내놓는 비율. deeplearning.ai The Batch #351 보도). 2026-05. 2026-06-15 확인. 자료 보기
• OpenAI. “o3 and o4-mini System Card” (2025년 첫 사례 — PersonQA 환각률 o1 16%·o3 33%·o4-mini 48%, 추론 모델이 더 많은 주장). 2025-04-16. 2026-06-15 확인. 자료 보기
• TechCrunch. “OpenAI’s new reasoning AI models hallucinate more”. 2025-04-18. 2026-06-15 확인. 자료 보기
• Vectara. “Introducing the Next Generation of Vectara’s Hallucination Leaderboard” (2025년 말 개편한 어려운 데이터셋 약 7,700개 문서에서 GPT-5·Claude Sonnet 4.5·Gemini 3 Pro·Grok-4 등 현행 플래그십 요약 환각률 10%↑, 추론 모델이 요약에서 더 못함). 2025~2026. 2026-06-15 확인. 자료 보기
• Fortune. “AI hallucinations are slipping into the permanent scientific record” (컬럼비아대 감사·277편당 1편). 2026-05-24. 2026-06-15 확인. 자료 보기
• Retraction Watch. “One in 277 PubMed-indexed papers in 2026 shows fabricated references” (2023년 2,828편당 1편 → 2026년 277편당 1편). 2026-05-07. 2026-06-15 확인. 자료 보기
• CNN Business. “Lawyer apologizes for fake court citations from ChatGPT” (Mata v. Avianca, 벌금 5,000달러). 2023-05-27. 2026-06-15 확인. 자료 보기
• Reason (Volokh Conspiracy). “In One Day, 17 U.S. Court Decisions Noting Suspected AI Hallucinations”. 2026-04-06. 2026-06-15 확인. 자료 보기
• 법률신문. “[단독] 이 판결, 존재하지 않습니다 — AI 환각 가짜 판례 제출 사건”. 2025-09-27. 2026-06-15 확인. 자료 보기
• 법률신문. “AI 환각 가짜 판례·법령 인용 대응 — 법원행정처 TF·허위 사건번호 확인 서비스”. 2026. 2026-06-15 확인. 자료 보기