내 사이트, AI한테 문 닫혀 있을까?
주소만 넣으면 robots.txt를 읽어, ChatGPT·퍼플렉시티 같은 AI가 내 글에 들어올 수 있는 상태인지 봇별로 알려드립니다.
robots.txt가 뭔가요?
사이트 대문에 붙어 있는 출입 안내문입니다. 구글·ChatGPT 같은 로봇(크롤러)은 페이지를 읽기 전에 이 파일부터 확인하고, "들어오지 마세요"라고 적혀 있으면 돌아갑니다. 그래서 여기에 AI 봇이 차단돼 있으면 아무리 글을 잘 써도 AI 답변에 못 나갑니다.
- 인용 봇이 막혀 있으면 — ChatGPT 검색·퍼플렉시티가 내 글을 답변에 인용할 수 없습니다. AI 노출을 원한다면 열어둬야 합니다.
- 학습 봇은 선택의 문제 — 막아도 AI 답변 노출과는 무관하고, 내 글이 모델 학습에 쓰이는 것만 거부됩니다.
- 네이버 블로그·티스토리 사용자라면 — robots.txt는 플랫폼이 관리해서 직접 수정할 수 없지만, 내 글이 어떤 상태인지 확인은 해볼 수 있습니다.
예제:
AI 답변·검색에 인용하는 봇
막혀 있으면 ChatGPT·퍼플렉시티 답변에 내 글이 나갈 수 없습니다.
AI 학습용 봇
막아도 AI 답변 노출과는 무관합니다 — 내 글을 학습에 쓸지 말지의 선택입니다.
robots.txt 원문 보기
학습만 거부하고 싶다면
인용 봇은 열어두고 학습 봇만 막는 robots.txt 예시입니다. 직접 운영하는 사이트라면
루트의 robots.txt에 추가하세요. (워드프레스는 SEO 플러그인의 robots.txt 편집 기능 이용)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: CCBot
Disallow: /