مدقّق robots.txt

الأسئلة الشائعة

ما القواعد التي تفحصها الأداة؟

تجميع User-agent، وموقع Disallow و Allow، وصلاحية رابط Sitemap، و Crawl-delay (يُنبَّه إليه كغير معياري)، إضافة إلى التوجيهات غير المعروفة. كل مشكلة تُعرض مع رقم سطرها لتسهيل التصحيح.

هل تخبرني الأداة بحال URL معيّن مُحجوب؟

ليس بعد، إذ يقتصر الفحص الحالي على البنية. لتقييم مسار بعينه استخدمها مع أداة robots.txt في Google Search Console.

لماذا يظهر Crawl-delay كتحذير؟

يتجاهله Googlebot لكن Bing و Yandex يحترمانه. يذكّرك التحذير بأنك لا تستطيع الاعتماد عليه مع Google رغم إمكان إبقائه لباقي الزواحف.

هل يُرفع شيء؟

لا. يبقى محتوى robots.txt داخل هذه التبويبة — لا سجلّات ولا تحليلات على الإدخال.