Validator robots.txt
Privasi sejak awal — berjalan sepenuhnya di peramban Anda
Tempel robots.txt Anda dan alat menandai kesalahan sintaks, direktif yatim, aturan yang tidak dikenal, dan bidang non-standar dengan nomor baris.
Aturan apa yang dicek
Grouping User-agent, posisi Disallow/Allow, validitas URL Sitemap, Crawl-delay (diperingatkan non-standar) dan direktif yang tidak dikenal. Tiap masalah menampilkan nomor baris untuk perbaikan cepat.
Apakah alat memberi tahu URL spesifik diblokir atau tidak
Belum — pemeriksaan saat ini hanya struktural. Padukan dengan robots.txt tester Google Search Console untuk pemeriksaan per path.
Kenapa Crawl-delay muncul sebagai peringatan
Googlebot mengabaikan Crawl-delay; Bing dan Yandex mematuhinya. Peringatan ini membuat Anda tahu tidak bisa mengandalkannya untuk Google sambil tetap memakainya untuk mesin lain.
Pertanyaan yang Sering Diajukan
- Aturan apa yang dicek?
- Grouping User-agent, posisi Disallow/Allow, validitas URL Sitemap, Crawl-delay (diperingatkan non-standar) dan direktif yang tidak dikenal. Tiap masalah menampilkan nomor baris untuk perbaikan cepat.
- Apakah alat memberi tahu URL spesifik diblokir atau tidak?
- Belum — pemeriksaan saat ini hanya struktural. Padukan dengan robots.txt tester Google Search Console untuk pemeriksaan per path.
- Kenapa Crawl-delay muncul sebagai peringatan?
- Googlebot mengabaikan Crawl-delay; Bing dan Yandex mematuhinya. Peringatan ini membuat Anda tahu tidak bisa mengandalkannya untuk Google sambil tetap memakainya untuk mesin lain.
- Adakah yang diunggah?
- Tidak. Isi robots.txt tetap di tab ini — tanpa log, tanpa analitik pada input.