Trình kiểm tra robots.txt
Riêng tư theo thiết kế — chạy hoàn toàn trong trình duyệt của bạn
Dán robots.txt, công cụ chỉ ra lỗi cú pháp, directive mồ côi, quy tắc lạ và trường không chuẩn kèm số dòng.
Công cụ kiểm tra những gì
Nhóm User-agent, vị trí Disallow/Allow, tính hợp lệ của URL Sitemap, Crawl-delay (cảnh báo không chuẩn) và các directive lạ. Mỗi vấn đề hiển thị số dòng để sửa nhanh.
Có cho biết URL cụ thể có bị chặn không
Chưa — kiểm tra hiện tại chỉ về cấu trúc. Kết hợp với robots.txt tester của Google Search Console để kiểm tra theo từng path.
Vì sao Crawl-delay hiện là cảnh báo
Googlebot bỏ qua Crawl-delay; Bing và Yandex tuân thủ. Cảnh báo nhắc rằng không thể trông cậy chỉ thị này với Google nhưng có thể giữ cho các bộ máy khác.
Câu hỏi thường gặp
- Công cụ kiểm tra những gì?
- Nhóm User-agent, vị trí Disallow/Allow, tính hợp lệ của URL Sitemap, Crawl-delay (cảnh báo không chuẩn) và các directive lạ. Mỗi vấn đề hiển thị số dòng để sửa nhanh.
- Có cho biết URL cụ thể có bị chặn không?
- Chưa — kiểm tra hiện tại chỉ về cấu trúc. Kết hợp với robots.txt tester của Google Search Console để kiểm tra theo từng path.
- Vì sao Crawl-delay hiện là cảnh báo?
- Googlebot bỏ qua Crawl-delay; Bing và Yandex tuân thủ. Cảnh báo nhắc rằng không thể trông cậy chỉ thị này với Google nhưng có thể giữ cho các bộ máy khác.
- Có gì được upload không?
- Không. Nội dung robots.txt ở yên trong tab này — không log, không analytics trên đầu vào.