robots.txt 驗證
注重隱私的設計 — 完全在您的瀏覽器中執行
貼上 robots.txt,工具會以行號標示語法錯誤、孤立指令、未知規則與非標準欄位。
會檢查哪些規則
User-agent 分組、Disallow/Allow 的位置、Sitemap URL 是否合法、Crawl-delay(以非標準警告呈現)以及未知指令。每個問題都會顯示行號方便快速修正。
會告訴我特定 URL 是否被擋嗎
目前不會,當前檢查只看結構。需要逐路徑確認時請搭配 Google Search Console 的 robots.txt 測試器。
為什麼 Crawl-delay 會被標為警告
Googlebot 不理 Crawl-delay,但 Bing 與 Yandex 會遵守。警告是要提醒你不能在 Google 上依賴它,但可以為其他爬蟲保留。
常見問題
- 會檢查哪些規則?
- User-agent 分組、Disallow/Allow 的位置、Sitemap URL 是否合法、Crawl-delay(以非標準警告呈現)以及未知指令。每個問題都會顯示行號方便快速修正。
- 會告訴我特定 URL 是否被擋嗎?
- 目前不會,當前檢查只看結構。需要逐路徑確認時請搭配 Google Search Console 的 robots.txt 測試器。
- 為什麼 Crawl-delay 會被標為警告?
- Googlebot 不理 Crawl-delay,但 Bing 與 Yandex 會遵守。警告是要提醒你不能在 Google 上依賴它,但可以為其他爬蟲保留。
- 會上傳任何資料嗎?
- 不會。robots.txt 內容只停留在這個分頁中 — 沒有紀錄,也沒有針對輸入的分析。