robots.txt 검증기
개인정보 보호 설계 — 브라우저에서 모두 처리됩니다
robots.txt 를 붙여 넣으면 문법 오류, 고아 디렉티브, 알 수 없는 규칙, 비표준 필드를 행 번호와 함께 알려 줍니다.
어떤 규칙을 검사하나요
User-agent 그룹화, Disallow/Allow 위치, Sitemap URL 의 유효성, Crawl-delay (비표준 경고), 알 수 없는 디렉티브 등을 확인합니다. 문제마다 줄 번호가 표시되어 빠르게 고칠 수 있습니다.
특정 URL 이 차단되는지 알려 주나요
아직은 아닙니다. 현재 검사는 구조 검증만 합니다. 경로별 평가는 Google Search Console 의 robots.txt 테스터와 함께 사용하세요.
왜 Crawl-delay 가 경고로 뜨나요
Googlebot 은 Crawl-delay 를 무시하지만 Bing 과 Yandex 는 따릅니다. Google 에서 이 값을 신뢰할 수 없다는 점을 알리되 다른 크롤러를 위해 남겨 두라는 의미입니다.
자주 묻는 질문
- 어떤 규칙을 검사하나요?
- User-agent 그룹화, Disallow/Allow 위치, Sitemap URL 의 유효성, Crawl-delay (비표준 경고), 알 수 없는 디렉티브 등을 확인합니다. 문제마다 줄 번호가 표시되어 빠르게 고칠 수 있습니다.
- 특정 URL 이 차단되는지 알려 주나요?
- 아직은 아닙니다. 현재 검사는 구조 검증만 합니다. 경로별 평가는 Google Search Console 의 robots.txt 테스터와 함께 사용하세요.
- 왜 Crawl-delay 가 경고로 뜨나요?
- Googlebot 은 Crawl-delay 를 무시하지만 Bing 과 Yandex 는 따릅니다. Google 에서 이 값을 신뢰할 수 없다는 점을 알리되 다른 크롤러를 위해 남겨 두라는 의미입니다.
- 무엇이라도 업로드되나요?
- 아니요. robots.txt 내용은 이 탭에 머무르며 입력에 대한 로깅이나 애널리틱스는 없습니다.