סורקי אימון
GPTBot, ClaudeBot, Google-Extended, CCBot ואחרים אוספים תוכן לאימון מודלים עתידיים. חסימתם היא החלטת רישוי תוכן.
כלי חינמי מבית TK WebHosts
בודק גישת סורקי AI
האם ChatGPT, Claude ו-Perplexity באמת יכולים לקרוא את האתר שלכם? בדקו אילו סורקים ה-robots.txt מתיר — בהפרדה בין בוטים לאימון לסוכנים החיים שקובעים אם תשובות AI יצטטו אתכם.
| סורק | מפעיל | גישה |
|---|
רוצים שתשובות AI יצטטו אתכם?
הוסיפו זאת ל-robots.txt כדי לפתוח את סורקי התשובות (אפשר להשאיר בוטים לאימון חסומים):
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
סורקי תשובות
OAI-SearchBot, ChatGPT-User, Claude-SearchBot ו-PerplexityBot מביאים את העמוד כשמשתמש שואל — כך עוזרי AI מצטטים אתכם.
סורקי חיפוש
Googlebot ו-Bingbot נשארים היסוד. חסימתם בטעות היא הרסנית — הבודק מציג זאת מיד באדום.
שאלות נפוצות
מה ההבדל בין GPTBot ל-ChatGPT-User?
GPTBot אוסף עמודים לאימון מודלים עתידיים. ChatGPT-User ו-OAI-SearchBot מביאים ומצטטים את העמודים בזמן אמת. חסימת GPTBot נוגעת רק לאימון.
אם אחסום סורקי אימון, אעלם מתשובות AI?
לא. סורקי אימון וסורקי תשובות הם user-agents נפרדים עם כללים נפרדים. מפרסמים רבים חוסמים אימון ונשארים ניתנים לציטוט.
מה קורה בלי robots.txt?
בלי robots.txt כל סורק מותר — וזו אינה שגיאה. חמור כשהקובץ מחזיר שגיאת שרת: גוגל מתייחסת לכך כ"אל תסרוק".
האם robots.txt באמת עוצר סורקים?
זו מוסכמה, לא מנעול. המפעילים הגדולים מתחייבים לה בפומבי; סקרייפר שמתעלם מהכללים לא ייעצר.
רוצים את התמונה המלאה?
הריצו את בודק ה-SEO המלא — עשר קטגוריות מדורגות, רשימת משימות מסודרת לפי עדיפות ודוח שאפשר לשתף.
הרצת בדיקת SEO חינם