robots.txt-Prüfer
Datenschutz by Design — läuft vollständig in Ihrem Browser
Fügen Sie Ihre robots.txt ein und das Werkzeug markiert Syntaxfehler, verwaiste Direktiven, unbekannte Regeln und Non-Standard-Felder mit Zeilennummer.
Welche Regeln prüft das Werkzeug
User-agent-Gruppierung, Position von Disallow/Allow, Gültigkeit der Sitemap-URL, Crawl-delay (als Non-Standard verwarnt) und unbekannte Direktiven. Jeder Befund nennt die Zeilennummer für schnelle Korrektur.
Sagt es mir, ob eine bestimmte URL blockiert ist
Noch nicht — die aktuelle Prüfung ist nur strukturell. Kombinieren Sie sie mit dem robots.txt-Tester der Google Search Console für eine pfadgenaue Auswertung.
Warum wird Crawl-delay als Warnung markiert
Der Googlebot ignoriert Crawl-delay; Bing und Yandex respektieren es. Die Warnung zeigt, dass Google sich nicht daran hält, Sie es aber für andere behalten können.
Häufig gestellte Fragen
- Welche Regeln prüft das Werkzeug?
- User-agent-Gruppierung, Position von Disallow/Allow, Gültigkeit der Sitemap-URL, Crawl-delay (als Non-Standard verwarnt) und unbekannte Direktiven. Jeder Befund nennt die Zeilennummer für schnelle Korrektur.
- Sagt es mir, ob eine bestimmte URL blockiert ist?
- Noch nicht — die aktuelle Prüfung ist nur strukturell. Kombinieren Sie sie mit dem robots.txt-Tester der Google Search Console für eine pfadgenaue Auswertung.
- Warum wird Crawl-delay als Warnung markiert?
- Der Googlebot ignoriert Crawl-delay; Bing und Yandex respektieren es. Die Warnung zeigt, dass Google sich nicht daran hält, Sie es aber für andere behalten können.
- Wird etwas hochgeladen?
- Nein. Der robots.txt-Inhalt bleibt in diesem Tab — kein Logging, keine Analytics auf der Eingabe.