AI가 붙인 출처, 3분 안에 판정하는 법

2026년 7월, 이 사이트의 인용을 다시 보다가 두 유형의 귀속 오류를 네 원고에서 찾고 고쳤습니다. 세 원고에는 같은 장중 기사·종가 수치 오류가 있었고, 한 원고에는 링크 하나에 여러 숫자를 귀속한 오류가 있었습니다.

네 원고에서 사용한 링크는 모두 열렸습니다. 그러므로 ‘링크가 살아 있는지’만 확인하는 작업으로는 두 오류 유형을 걸러내지 못했을 겁니다.

AI가 답 아래에 파란 링크를 여러 개 붙여 놓으면 근거가 충분해 보입니다. 그러나 링크 도달성과 문서의 의미 지지는 다른 문제입니다. 아래 두 오류 유형이 그 차이를 보여줍니다.

첫 번째 오류: 숫자도 진짜였습니다

2026년 6월 23일 코스피가 크게 떨어진 날의 이야기입니다. 당시 글 세 편에서 그날의 하락률을 -9.99%로 적고, 근거로 머니투데이 기사를 링크했습니다.

링크는 정상이었습니다. -9.99%라는 숫자도 실제로 존재하는 값이었습니다. 그날의 종가 기준 하락률이 그랬습니다.

문제는 링크한 기사였습니다. 그 기사는 오후 2시 48분에 작성된 장중 기사였고, 8%대 급락과 서킷브레이커 발동을 다루고 있었습니다. 장이 끝나기 전에 쓰인 문서에 장이 끝난 뒤의 숫자를 붙여놓은 셈입니다. 숫자도 맞고 링크도 열리는데, 그 문서가 그 숫자를 담고 있지 않았습니다.

고칠 때는 숫자를 지우지 않았습니다. 장중 8%대와 종가 하락률을 각각 다른 출처에 연결하고, 두 시점을 구분해 적었습니다. 정정의 내용은 ‘틀린 숫자를 뺐다’가 아니라 ‘맞는 숫자를 맞는 문서에 붙였다’에 가깝습니다.

여기서 얻을 것은 하나입니다. 숫자의 진위만 확인하면 이런 오류를 놓칩니다. 그 숫자를 담은 문서가 그 순간의 문서인지까지 봐야 합니다. 특히 주가, 환율, 사고 사망자 수, 개표 상황처럼 하루 안에 값이 바뀌는 정보가 그렇습니다. 같은 사건을 다룬 기사가 오전과 오후에 각각 있고, 둘의 숫자는 다릅니다.

두 번째 오류: 링크 하나에 숫자 셋

두 번째는 청년 고용을 다룬 글이었습니다. 한 문단 안에 숫자가 셋 있었습니다. 청년 고용률 43.8%, 25개월 연속 하락, 대졸 이상 실업자 13.6% 증가. 그리고 그 셋 뒤에 뉴스 기사 링크를 하나 달았습니다.

링크를 다시 눌러 페이지를 읽어보니, 그 안에서 실제로 확인되는 것은 43.8% 하나였습니다. 나머지 둘은 그 페이지에 없었습니다.

오해하기 쉬운 대목이라 분명히 해두면, 이건 ‘나머지 두 숫자가 거짓’이라는 판정이 아닙니다. 실제로 통계청 원자료에는 있는 값이었습니다. 문제는 그 링크가 그 숫자들의 근거 역할을 하지 못했다는 것입니다. 독자가 링크를 눌러 확인하려 해도 확인할 수 없는 상태였으니까요. 정정은 각 숫자를 원자료 기준으로 다시 연결하는 방식으로 했습니다.

이 사례가 알려주는 건 확인의 단위입니다. 우리는 보통 링크 단위로 검증합니다. 링크 다섯 개면 다섯 번 확인하면 될 것 같죠. 그런데 실제 단위는 링크가 아니라 문장, 더 정확히는 문장 안의 주장 하나하나입니다. 숫자가 셋이면 확인할 것도 셋입니다.

한 주장에 3분 확인 예산을 두는 순서

여기서 3분은 정확도를 실험해 보장한 완료 시간이 아니라, 결론을 좌우하는 주장 하나에 먼저 쓰는 확인 예산입니다. 위 두 오류 유형을 뒤집어 다음 순서로 봅니다.

첫째, 문장을 주장 단위로 쪼갭니다. ‘참여자 1,240명, 18% 증가, 취업 연계율 62%’는 한 문장이지만 확인할 주장은 셋입니다. 쪼개지 않으면 두 번째 사례처럼 하나만 맞아도 전부 맞은 것처럼 보입니다.

둘째, 각 주장이 그 페이지 어디에 있는지 위치를 찾습니다. HTML은 페이지 검색을 쓰고, 스캔 PDF·이미지는 OCR 검색 결과만 믿지 말고 해당 표와 문장을 눈으로도 확인합니다. 글꼴 인코딩이나 스캔 상태 때문에 검색되지 않을 수 있으므로 ‘검색 결과 0건’만으로 근거 없음을 판정하지 않습니다. 읽을 수 있는 본문과 표까지 확인했는데도 주장을 찾지 못하면 그 링크는 직접 근거로 쓰지 않습니다.

셋째, 문서가 언제 쓰였는지 봅니다. 기사 작성 시각과 갱신 시각, 통계의 기준 시점과 발표일, 논문의 투고일과 게재일은 각각 다릅니다. 이 단계가 첫 번째 오류를 잡습니다.

그리고 결과를 다섯 가지 중 하나로 적어둡니다. 확인, 부분 확인, 근거 부족, 불일치, 확인 보류. ‘확인함’과 ‘못 찾음’ 두 칸만 두면 대부분이 애매한 중간에 걸려서, 결국 아무것도 판정하지 않게 됩니다.

어디를 봐야 하는지는 자료 종류마다 다르고, 종류마다 잘 빠지는 함정이 따로 있습니다.

뉴스는 앞의 사례처럼 시각이 함정입니다. 작성 시각과 갱신 시각이 따로 있고, 같은 사건의 오전 기사와 오후 기사는 숫자가 다릅니다. 정부 통계는 보도자료와 통계표를 구분해야 합니다. 보도자료는 특정 대목을 강조해 요약한 문서라, 표를 직접 열면 분모가 다르거나 기준 시점이 다른 경우가 있습니다. 조사 기준 시점과 발표일도 별개입니다. 논문은 DOI로 존재를 확인하는 일과 결과를 해석하는 일을 분리해야 합니다. DOI가 조회된다는 건 그 논문이 등록돼 있다는 뜻이지 결론이 옳다는 뜻이 아니고, 초록의 한 문장이 본문 결과보다 세게 적혀 있는 경우도 흔합니다.

법령은 시행일이 핵심입니다. 지금 유효한 조문과 사건 당시 조문이 다르면, 지난 사건에 오늘 조문을 붙이게 됩니다. 기업 정보는 보도자료 대신 공시를 봅니다. 조건이나 단서는 보통 공시 쪽에만 적혀 있습니다.

남의 글이 인용한 것을 그대로 가져오는 2차 인용은, 원출처까지 실제로 돌아갈 수 있을 때만 씁니다. 돌아가 보면 원문에 없거나 맥락이 다른 경우가 생각보다 자주 나옵니다. 그리고 링크가 아예 죽어 있다면 주장을 버리기 전에 웹 아카이브에서 원문을 먼저 찾아보는 편이 낫습니다. 문서가 사라졌다는 사실이 주장이 틀렸다는 뜻은 아니니까요.

그 감사를 다시 감사했더니

여기까지가 이 글이 원래 하려던 이야기입니다. 그런데 뒷이야기가 하나 더 있고, 사실 이쪽이 더 쓸모 있을지도 모르겠습니다.

이 글은 처음 발행될 때 “출처 753개를 전부 다시 눌러봤다”는 제목을 달고 있었습니다. 그때까지 이 사이트가 인용한 링크를 모아 상태를 확인하고, 일부를 표본으로 뽑아 내용까지 대조했다는 조사였습니다. 링크 중 몇 퍼센트가 살아 있었고, 표본 몇 개 중 몇 개가 원문과 일치했다는 수치도 함께 실었습니다.

나중에 그 조사를 다시 재현해 보려 했습니다. 결과는 이렇습니다. 대부분 재현되지 않았습니다.

753이라는 숫자는 한 가지 좁은 추출 규칙을 적용했을 때만 다시 나왔습니다. 당시 사용한 파서와 조사한 URL 목록이 남아 있지 않아서, 원래 조사의 모집단이 그것과 같았는지 확인할 방법이 없었습니다. 링크 상태 비율과 표본 대조 비율은 아예 재현되지 않았습니다. 실행한 스크립트도, 원시 응답 기록도, 표본을 어떻게 골랐는지 적어둔 표도 없었기 때문입니다. 그래서 그 비율들은 철회했습니다.

남은 것은 앞에서 설명한 두 오류 유형을 네 원고에서 실제로 찾아 고쳤다는 사실입니다. 세 원고의 장중 기사·종가 수치 귀속과 한 원고의 복수 수치 귀속을 합쳐 네 원고의 정정입니다. 이를 사이트 전체의 ‘몇 건 중 몇 건이 틀렸다’는 오류율로 바꿀 수는 없습니다. 표본을 어떻게 골랐는지 모르기 때문입니다.

이 실패가 남긴 교훈은 숫자가 아니라 기록 방식이었습니다. 검증 결과는 그 자체로 재현할 수 있어야 근거가 됩니다. 다음 감사부터 함께 남겨야 할 것은 네 가지입니다. 추출에 쓴 코드와 입력 스냅샷, 조사한 URL 목록과 실행 시각, URL별 최종 주소와 응답 상태, 그리고 사람이 내린 판정표. 미국 국립표준기술연구소가 AI 에이전트의 인용을 평가하는 실험에서도 문서 조각의 관련성과 인용별 검증 결과를 구조화된 감사 기록으로 남깁니다.

그러니 이 글은 ‘753개를 검사해 봤더니’를 근거로 쓰지 않습니다. 대신 네 원고에서 확인한 두 오류 유형의 실제 정정과, 그 정정을 확인할 수 있는 저장소 기록(커밋 e06038d, 2026-07-10)까지만 근거로 씁니다. 재현할 수 없는 큰 숫자보다 범위가 드러난 작은 사례가 낫다는 것이, 이 일에서 배운 것입니다.

정리하면 이렇습니다. 출처 개수는 신뢰의 증거가 아닙니다. 링크 다섯 개가 붙은 답이 링크 하나짜리보다 안전하지도 않습니다. 중요한 건 어느 문장이 어느 근거로 확인됐는지 추적할 수 있는가입니다. 다음에 AI가 답 아래 링크를 여러 개 붙여 오면, 첫 클릭을 하기 전에 그 문장부터 쪼개 보세요. 확인할 것이 링크 개수보다 많다는 걸 알게 될 겁니다.

정정 diff 네 개와 외부 참조 여덟 개를 다시 확인했습니다

METATOUR 검증 기록 · 검증 유형: Git 변경 기록 대조 + 현재 외부 참조 GET 감사 · 검증일: 2026-08-23 · 직접 실행: 완료

감사 질문

본문에서 설명한 두 종류의 인용 오류가 실제 변경 기록에 남아 있을까요? 또한 현재 참고 링크가 열리는지 확인하는 것만으로 그 링크가 본문의 의미까지 뒷받침한다고 말할 수 있을까요?

대조한 기록과 링크 표본

정정 커밋 e06038d에서 인용 문구가 바뀐 당시 원고 네 개와, 이 글의 현재 외부 참고 링크 8개를 확인했습니다.

• src/content/business/ai-chip-stock-fomo-2026.md
• src/content/business/circuit-breaker-sidecar-explained.md
• src/content/business/etf-explained-beginner.md
• src/content/business/ai-entry-level-jobs-2026.md

감사 방법

1. 커밋의 파일 목록과 diff를 열어 변경 전후의 인용 문구를 대조했습니다.
2. 현재 글의 외부 참고 링크 8개에 GET 요청을 보내 응답 상태를 기록했습니다.
3. HTTP 도달성과 문서가 특정 주장·숫자·시점을 의미상 뒷받침하는지를 별도 판정으로 분리했습니다.

정정 diff와 GET 확인표

검사	관찰 결과	확인된 범위
장중 기사에 종가 수치 귀속	세 원고에서 머니투데이 장중 기사를 코스피 -9.99% 종가 하락의 출처처럼 적었던 문구가 수정됐습니다.	해당 기사는 오후 2시 48분의 장중 8%대 급락 기사로 구분하고, 종가 -9.99%는 별도 종가 출처로 분리한 diff를 확인했습니다.
한 링크에 여러 숫자 귀속	한 원고에서 뉴스핌 링크 하나에 청년 고용률 43.8%, 25개월 연속 하락, 대졸 이상 실업자 13.6% 증가를 함께 귀속했던 문구가 수정됐습니다.	뉴스핌 페이지가 다룬 수치와 통계청 원자료 기준 수치를 나눠 적은 diff를 확인했습니다.
현재 외부 참고 링크 GET 감사	8개 중 7개가 HTTP 200을 반환했습니다.	서버가 문서를 전달했다는 도달성만 확인했습니다. 각 문서의 의미 지지 여부를 이 결과만으로 판정하지 않았습니다.
Wayback Machine 도움말 링크	1개가 HTTP 403을 반환했습니다.	이번 자동 GET 요청이 거부된 상태입니다. 사람 브라우저에서도 문서가 사라졌거나 내용을 확인할 수 없다는 뜻으로 확정하지 않았습니다.

도달성과 의미 지지 판정

저장소 기록은 “링크가 열리는가”와 “그 링크가 그 숫자의 근거인가”가 다른 문제임을 보여줍니다. 이번 GET 감사도 같은 한계를 확인했습니다. HTTP 200은 문서 도달성을 보여줄 뿐 본문의 주장·기간·단위를 지지한다는 판정이 아닙니다. 반대로 HTTP 403도 자동화 요청 거부일 수 있으므로 즉시 ‘죽은 링크’로 분류할 수 없습니다.

이번 감사의 한계

• 커밋 기록은 네 원고의 수정 이력을 증명하지만 사이트 전체 인용의 오류율을 보여주지는 않습니다.
• 8개 GET 감사는 한 시점의 서버 응답입니다. 지역, 사용자 에이전트, 로그인, 봇 차단과 일시 장애에 따라 달라질 수 있습니다.
• 이번 GET 감사는 8개 문서 본문이 각 주장을 의미상 지지하는지 전수 판정한 감사가 아닙니다.
• 과거에 제시했던 753개 링크의 상태 비율과 표본 일치율은 원시 기록이 없어 근거로 사용하지 않습니다.

참고 자료와 확인한 내용

• 이 저장소의 정정 커밋 e06038d — 2026-07-10. 본문의 두 오류 유형은 이 커밋에 기록된 네 원고의 실제 정정입니다. 장중 기사에 종가 하락률을 붙인 인용을 세 원고에서 고쳤고, 숫자 하나만 확인되는 페이지에 숫자 셋을 귀속한 인용을 한 원고에서 원자료 기준으로 정정했습니다. 당시 재검증은 관련 페이지의 원문을 다시 열어 확인하는 방식으로 했습니다.
• 753개 감사의 재현 시도 — 발행 직전 저장소 스냅샷에 같은 추출 규칙을 적용하면 링크 표기 793건, 중복 제거 후 753개가 다시 나옵니다. 다만 원래 파서와 URL 목록이 남아 있지 않아 모집단 동일성은 확인 보류로 두었고, 링크 상태 비율과 표본 대조 비율은 원시 기록이 없어 철회했습니다.
• Generative AI Profile (NIST AI 600-1) — 미국 국립표준기술연구소. 생성형 AI가 답을 정당화하는 것처럼 보이는 잘못된 논리나 인용을 만들 수 있고, 그 외형이 사용자의 과신을 키울 수 있다는 설명을 확인했습니다. 2026-08-12 확인.
• Building Evaluation Probes for Agentic AI — 미국 국립표준기술연구소. 문서 조각의 관련성과 인용별 검증 결과를 구조화된 감사 기록으로 남기는 평가 방식을 확인했습니다. 2026-08-12 확인.
• KOSIS 이용 안내 — 통계청. 통계표의 기준 시점과 메타데이터를 확인하는 경로를 참고했습니다. 2026-08-12 확인.
• Crossref 메타데이터 조회 — Crossref. DOI로 논문의 등록 정보를 확인하는 방법을 참고했습니다. 2026-08-12 확인.
• 국가법령정보센터 — 법제처. 현행 조문과 연혁 조문을 구분해 확인하는 경로를 참고했습니다. 2026-08-12 확인.
• 전자공시시스템 안내 — 금융감독원. 기업 정보를 공시 원문에서 확인하는 경로를 참고했습니다. 2026-08-12 확인.
• When Online Content Disappears — Pew Research Center, 2024-05-17. 웹 문서가 시간이 지나며 사라지는 규모에 관한 조사입니다. 링크가 죽었다는 사실이 주장의 진위와 별개라는 판단의 근거로 참고했습니다. 2026-08-12 확인.
• Using the Wayback Machine — Internet Archive. 사라진 문서를 다시 찾는 방법을 참고했습니다. 2026-08-12 확인.