زواحف التدريب
يجمع GPTBot وClaudeBot وGoogle-Extended وCCBot وغيرها المحتوى لتدريب النماذج المقبلة. حظرها قرار ترخيص للمحتوى.
أداة مجانية من TK WebHosts
مدقق وصول زواحف الذكاء الاصطناعي
هل يستطيع ChatGPT وClaude وPerplexity قراءة موقعك فعلاً؟ افحص أي زواحف يسمح بها robots.txt لديك — مفصولة بين زواحف التدريب والوكلاء المباشرين الذين يقررون إن كانت إجابات الذكاء الاصطناعي ستستشهد بك.
| الزاحف | المشغّل | الوصول |
|---|
تريد أن تستشهد بك إجابات الذكاء الاصطناعي؟
أضف هذا إلى robots.txt لفتح زواحف الإجابة (يمكن إبقاء زواحف التدريب محظورة):
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
زواحف الإجابة
يجلب OAI-SearchBot وChatGPT-User وClaude-SearchBot وPerplexityBot صفحتك عندما يسأل مستخدم — هكذا يستشهد بك مساعدو الذكاء الاصطناعي.
زواحف البحث
يبقى Googlebot وBingbot الأساس. حظرهما بالخطأ كارثي — يعرضه هذا المدقق فوراً باللون الأحمر.
الأسئلة الشائعة
ما الفرق بين GPTBot وChatGPT-User؟
يجمع GPTBot الصفحات لتدريب النماذج المقبلة، بينما يجلب ChatGPT-User وOAI-SearchBot صفحاتك ويستشهدان بها مباشرة. حظر GPTBot يخص التدريب فقط.
هل أختفي من إجابات الذكاء الاصطناعي إذا حظرت زواحف التدريب؟
لا. زواحف التدريب وزواحف الإجابة وكلاء مستخدم منفصلون بقواعد منفصلة في robots.txt. كثير من الناشرين يحظرون التدريب ويبقون قابلين للاستشهاد.
ماذا لو لم يكن لموقعي robots.txt؟
كل الزواحف مسموح بها افتراضياً — وغيابه ليس خطأ. الخطير أن يعيد الملف خطأ خادم: يعامله Google كأنه "لا تزحف إلى الموقع".
هل يوقف robots.txt الزواحف فعلاً؟
هو عرف لا قفل. تلتزم به الجهات الكبرى علناً؛ لكنه لا يوقف كاشطاً يتجاهل القواعد.
تريد الصورة الكاملة؟
شغّل مدقق SEO الكامل — عشر فئات مُقيّمة وقائمة مهام مرتبة حسب الأولوية وتقرير قابل للمشاركة.
ابدأ فحص SEO مجانياً