AI는 왜 자신 있게 틀릴까 — '환각'이 사라지지 않는 구조
AI의 환각은 고장이 아니라, AI를 채점하는 방식이 만든 구조적 결과다 — OpenAI 2025 논문. 모르면 0점, 찍으면 가끔 정답인 시험에서 AI는 '자신 있게 찍도록' 길러졌다. 더 똑똑한 추론 모델이 오히려 더 자주 틀린 데이터와 법정·논문의 실제 사례로 풀었다.
'AI 환각' 주제로 모은 글 2편입니다.
AI의 환각은 고장이 아니라, AI를 채점하는 방식이 만든 구조적 결과다 — OpenAI 2025 논문. 모르면 0점, 찍으면 가끔 정답인 시험에서 AI는 '자신 있게 찍도록' 길러졌다. 더 똑똑한 추론 모델이 오히려 더 자주 틀린 데이터와 법정·논문의 실제 사례로 풀었다.
AI는 모를 때도 자신 있게 틀린 답을 낸다. 가짜 판례로 변호사가 1만 달러 제재를 받기도 했다. 환각이 왜 구조적 문제인지 짚고, 환각을 줄이는 복붙 프롬프트 5가지를 before/after로 보여준다.