Валидатор robots.txt
Приватность по умолчанию — работает полностью в вашем браузере
Вставьте robots.txt — инструмент покажет синтаксические ошибки, осиротевшие директивы, неизвестные правила и нестандартные поля с номерами строк.
Какие правила проверяются
Группировка User-agent, размещение Disallow/Allow, валидность URL Sitemap, Crawl-delay (помечается как нестандарт) и неизвестные директивы. Каждая проблема показывается с номером строки.
Скажет ли инструмент, заблокирован ли конкретный URL
Пока нет — текущая проверка только структурная. Для оценки по конкретным путям используйте robots.txt tester в Google Search Console.
Почему Crawl-delay выводится как предупреждение
Googlebot игнорирует Crawl-delay; Bing и Яндекс его слушают. Предупреждение показывает, что для Google полагаться на эту директиву нельзя, но для других можно оставить.
Часто задаваемые вопросы
- Какие правила проверяются?
- Группировка User-agent, размещение Disallow/Allow, валидность URL Sitemap, Crawl-delay (помечается как нестандарт) и неизвестные директивы. Каждая проблема показывается с номером строки.
- Скажет ли инструмент, заблокирован ли конкретный URL?
- Пока нет — текущая проверка только структурная. Для оценки по конкретным путям используйте robots.txt tester в Google Search Console.
- Почему Crawl-delay выводится как предупреждение?
- Googlebot игнорирует Crawl-delay; Bing и Яндекс его слушают. Предупреждение показывает, что для Google полагаться на эту директиву нельзя, но для других можно оставить.
- Что-то загружается?
- Нет. Содержимое robots.txt остаётся в этой вкладке — никаких логов и аналитики на ввод.