محلل URL
قسّم الرابط إلى البروتوكول والمضيف والمسار والاستعلام.
مولد Robots.txt
أنشئ ملف robots.txt يحجب المسارات التي تختارها ويشير إلى خريطة موقعك.
تطيعه Bing وبعض الزواحف الأخرى. وتتجاهله Google.
حجب زواحف ذكاء اصطناعي محددةاحفظه باسم robots.txt في جذر موقعك، ليُفتح على https://yoursite.com/robots.txt. يطلب من الزواحف الملتزمة البقاء بعيدًا، لكنه لا يحمي الصفحات الخاصة.
ملفاتك تبقى على جهازك
طريقة الاستخدام
- 1اختر هل يُسمح بالزحف افتراضيًا أم يُحجب الموقع كله.
- 2اكتب المسارات المراد منعها، مسارًا في كل سطر، يبدأ كل منها بشرطة مائلة.
- 3أضف عنوان خريطة موقعك وحدد أي زواحف تريد حجبها.
- 4نزّل robots.txt وارفعه إلى جذر موقعك.
ماذا تفعل الخيارات
- منع المسارات
- يُطلب من الزواحف عدم جلب هذه المسارات. المسار المنتهي بشرطة مائلة يشمل كل ما داخل المجلد.
- استثناءات السماح
- يتيح للزاحف جلب مسار يقع داخل مجلد ممنوع.
- تأخير الزحف
- ثوانٍ بين الطلبات. تحترمه بعض الزواحف وتتجاهله Google.
- زواحف الذكاء الاصطناعي
- يضيف كتلة للروبوت المسمى. تعمل فقط مع الروبوتات التي تطيع robots.txt.
الخصوصية
كل شيء يعمل في متصفحك. ما تكتبه لا يُرسل إلى أي خادم.
أسئلة شائعة
هل يخفي robots.txt صفحة عن البحث؟
لا. يمنع الزواحف الملتزمة من جلب الصفحة، لكن قد يظهر عنوان محجوب في النتائج إذا ربطت به مواقع أخرى. لإبعاد صفحة عن البحث استخدم وسم noindex واسمح بزحفها.
هل robots.txt إجراء أمني؟
لا. الملف عام وتتجاهله الروبوتات السيئة. لا تدرج فيه مسارات سرية أبدًا، واحمِ المناطق الخاصة بتسجيل دخول.
أين يوضع الملف؟
في جذر النطاق: https://example.com/robots.txt. يحتاج كل نطاق فرعي إلى ملفه الخاص.
هل سيزيل حجب زواحف الذكاء الاصطناعي محتواي من أدواته؟
يطلب من تلك الزواحف ألا تجمع صفحاتك مستقبلًا. لا يزيل ما جُمع سابقًا، ولا يوقف الروبوتات التي تتجاهل الملف.
ماذا لو حجبت CSS أو JavaScript عن طريق الخطأ؟
تحتاجهما Google لعرض صفحاتك. لا تمنع المجلدات التي تحتوي على السكربتات والأنماط.