robots.txt 検証
プライバシー優先設計 — すべてブラウザ内で処理します
robots.txt を貼り付けると、構文エラー、孤立したディレクティブ、未知のルール、非標準フィールドを行番号付きで指摘します。
どのルールが検査されますか
User-agent のグループ化、Disallow/Allow の配置、Sitemap URL の有効性、Crawl-delay(非標準として警告)、そして未知のディレクティブを確認します。問題が見つかると行番号を表示するため、すぐに修正できます。
特定の URL がブロックされているか教えてくれますか
まだです。現状のチェックは構文のみで、パス単位の判定には Google Search Console の robots.txt テスターと併用してください。
なぜ Crawl-delay が警告として出るのですか
Googlebot は Crawl-delay を無視しますが、Bing と Yandex は従います。Google には頼れない一方で他のクローラには有効、ということを示すために警告を出しています。
よくある質問
- どのルールが検査されますか?
- User-agent のグループ化、Disallow/Allow の配置、Sitemap URL の有効性、Crawl-delay(非標準として警告)、そして未知のディレクティブを確認します。問題が見つかると行番号を表示するため、すぐに修正できます。
- 特定の URL がブロックされているか教えてくれますか?
- まだです。現状のチェックは構文のみで、パス単位の判定には Google Search Console の robots.txt テスターと併用してください。
- なぜ Crawl-delay が警告として出るのですか?
- Googlebot は Crawl-delay を無視しますが、Bing と Yandex は従います。Google には頼れない一方で他のクローラには有効、ということを示すために警告を出しています。
- 何かアップロードされますか?
- いいえ。robots.txt の内容はこのタブにとどまります。入力のログ取得も解析も行いません。