도메인을 넣으면 그 사이트의 robots.txt를 읽어
GPTBot, ClaudeBot, Google-Extended 같은 AI 크롤러별로 접근이 열려 있는지 판정합니다.
회원가입 없이 무료이며, 판정은 전부 규칙 기반입니다.
예시로 확인해 보기:
판정 결과
크롤러
운영사
용도
판정
적용 규칙
차단이나 부분 차단으로 판정된 크롤러가 없습니다.
가져온 robots.txt 원문 보기
차단 설정 스니펫
이 결과를 실제 설정으로 옮기려면
점검과 위 스니펫은 계속 무료입니다. 그것만으로도 대부분의 차단은 됩니다.
다만 어떤 봇을 남기고 어떤 봇을 막을지까지 직접 조사하려면 시간이 듭니다.
그 조사를 이 점검기를 만들며 미리 해 둔 자료가 있습니다.
AI Crawler Control Playbook
($12) — 봇 20종을 학습용·검색용으로 나눠 운영사 공식 문서를 인용한 근거 표,
바로 복사해 쓰는 robots.txt 템플릿 5종, robots.txt로는 막지 못하는 몫을 위한
nginx·Apache 설정 파일, 한국어판 포함.