robots.txt لـ GPTBot: حظر التدريب مع الحفاظ على ظهور الاستشهاد

لماذا يُعد سؤال «السماح أو الحظر» السؤال الخاطئ بشأن زواحف الذكاء الاصطناعي؟

السؤال المفيد هو ما الذي تفعله كل زاحفة بمحتواك. تجمع بعض زواحف الذكاء الاصطناعي مواد قد تُستخدم في تدريب النماذج. وتقوم زواحف أخرى بجلب الصفحات حتى يتمكن المساعد من البحث فيها وقراءتها والاستشهاد بها عندما يطرح المستخدم سؤالاً. إن التعامل مع هذه الزواحف باعتبارها فئة واحدة يفرض مفاضلة لا داعي لها.

بالنسبة لفريق B2B، عادةً ما تكون تكلفة الحظر المفرط أعلى من تكلفة السماح بالوصول إلى البحث. فإذا كانت صفحات منتجاتك وصفحات المقارنة والتوثيق غير مرئية لمحركات الإجابة، فلن يرى المشترون الذين يطلبون من المساعدين قوائم مختصرة للموردين علامتك التجارية أبداً. والهدف هو أن تقرر، زاحفةً بزاحفة، أي غرض تقبله.

يتكون الإطار العملي من ثلاث طبقات: الوصول للتدريب، والوصول للبحث والاستشهاد، والاسترجاع الذي يبدأه المستخدم. ضع قراراً واحداً لكل طبقة، ثم طبّقه في ملف robots.txt. وأعد النظر في القرارات عندما يحدّث المورّدون وثائقهم، لأن أسماء الزواحف وسلوكها قد يتغيران.

ما هي GPTBot وOAI-SearchBot وChatGPT-User، وأيّها ينبغي السماح به؟

GPTBot هي زاحفة OpenAI المرتبطة بجمع بيانات التدريب. أما OAI-SearchBot فمرتبطةببحث ChatGPT، أي أنها تفهرس المحتوى الذي قد يظهر في إجابات البحث. وChatGPT-User تُستخدم عندما يطلب شخص من ChatGPT فتح صفحة أثناء المحادثة. لكل منها غرض مختلف، ووفقاً لوثائق OpenAI الخاصة بالزواحف، يُتحكم في كل منها بطريقة مختلفة.

القرار الشائع لعلامات B2B هو منع GPTBot، والسماح بـ OAI-SearchBot، ومعاملة ChatGPT-User كطلب يبدأه المستخدم. تحقّق من الوثائق الحالية لـ OpenAI قبل إنهاء القواعد، لأن تفاصيل تعامل كل وكيل مع robots.txt من الأمور التي يعدّلها المورّدون عادةً.

هل يؤثر حظر Google-Extended على بحث Google أو ميزات AI Overviews؟

لا يؤدي حظر Google-Extended إلى إزالة صفحاتك من بحث Google العادي، ووفقًا لتوثيق Google فإنه لا يؤثر على ظهورها في AI Overviews. وGoogle-Extended هو رمز في ملف robots.txt يتحكم في ما إذا كان يجوز استخدام المحتوى الذي زحفت إليه Google في تدريب نماذج Gemini، ولبعض استخدامات الترسيخ (grounding). وهو ليس زاحفًا منفصلًا يجلب صفحاتك.

يكمن الخطر في الخلط بينه وبين Googlebot. فإذا منعت Googlebot، ستختفي صفحاتك من البحث ومن الميزات الذكية التي تعتمد على البحث. أما حظر Google-Extended فيرسل فقط إشارة بأن محتواك لا ينبغي استخدامه في تدريب Gemini والاستخدامات المرتبطة به.

قبل إجراء أي تغيير، تحقق بوضوح من قواعد Googlebot. فالحظر الشامل Disallow لجميع وكلاء المستخدم، المنسوخ من قالب قديم، هو السبب الأكثر شيوعًا لاختفاء الموقع من Google، في حين أن الفريق كان يقصد الانسحاب من تدريب الذكاء الاصطناعي فقط.

كيف تكتب قواعد robots.txt تسمح بالاستشهاد مع الانسحاب من التدريب؟

اكتب مجموعة User-agent منفصلة لكل زاحف ذكاء اصطناعي تريد التحكم فيه، واحتفظ بمجموعتي Googlebot وBingbot للبحث العادي. تُطبَّق القواعد لكل مجموعة على حدة، لذا فإن Disallow ضمن GPTBot لا يؤثر على OAI-SearchBot. واحتفظ بالملف في جذر كل نطاق فرعي (hostname)، لأن قواعد robots.txt لا تنتقل إلى النطاقات الفرعية.

القواعد أدناه نموذج انطلاق لفريق ينسحب من التدريب لكنه يريد الاستشهاد. عدّلها بما يتوافق مع موقفك من التدريب، ولا تنسخها دون مراجعة المسارات التي تريد حمايتها فعلًا.

• User-agent: GPTBot / Disallow: /
• User-agent: Google-Extended / Disallow: /
• User-agent: OAI-SearchBot / Allow: /
• User-agent: PerplexityBot / Allow: /
• User-agent: Googlebot / Allow: /
• User-agent: * / Disallow: /account/ and /staging/

1. افحص ملف robots.txt الحالي ودوّن أي قواعد عامة تحت وكيل المستخدم النجمي (*)، لأنها تنطبق أيضًا على زواحف الذكاء الاصطناعي.
2. أضف مجموعة لـ GPTBot مع Disallow: / إذا كنت تنسحب من تدريب OpenAI.
3. أضف مجموعة لـ Google-Extended مع Disallow: / إذا كنت تنسحب من تدريب Gemini، واترك Googlebot دون قيود.
4. أضف مجموعة لـ OAI-SearchBot وPerplexityBot مع Allow: / لتكون صلاحية بحثهما واضحة.
5. احمِ المسارات الخاصة، مثل مناطق الحساب ومجلدات التجهيز ونتائج البحث الداخلي، بقواعد Disallow تنطبق على جميع الوكلاء.
6. اختبر الملف في أدوات مشرفي البحث وفي أداة اختبار robots.txt، ثم انشره وأعد الفحص بعد كل إصدار للموقع.

أي زواحف الذكاء الاصطناعي تحترم ملف robots.txt، وأيها قد لا تحترمه؟

تنشر الجهات الكبرى المشغّلة لنماذج الذكاء الاصطناعي توثيقاً لزواحفها، وتذكر عادةً أن الزواحف المعلنة من طرفها تلتزم بملف robots.txt. وهذه التصريحات هي الأساس الذي يُبنى عليه، لكنها وعود لا ضمانات، ويجب التحقق من صياغة كل مزوّد في توثيقه الخاص.

ملف robots.txt توجيهي وليس إلزامياً. وهو يعمل لأن الزواحف الملتزمة تختار قراءته. وقد لا تتبع بعض الطلبات التي يبدأها المستخدم، وبعض الطلبات المرسلة عبر أدوات طرف ثالث، القواعد نفسها. كما زعمت تقارير صادرة عن جهات خارجية أن بعض محركات الإجابة جلبت محتوى باستخدام معرّفات وكيل مستخدم لا تطابق الأسماء التي أعلنتها. لذلك تعامَل مع أي سلسلة وكيل مستخدم على أنها ادعاء حتى تتحقق منه.

إذا كنت تحتاج إلى فرض القواعد، فملف robots.txt وحده لا يكفي. استخدم المصادقة للمحتوى الخاص، وحدود معدل الطلبات أو جدار حماية لتطبيقات الويب للحد من الحركة المسيئة، وكن صريحاً داخلياً بأن القاعدة المنشورة إشارة وليست قفلاً.

كيف تتحقق من أن طلب PerplexityBot أو GPTBot أصلي؟

يعني التحقق التأكد من أن الطلب صادر من عنوان IP يعود إلى الجهة المدّعاة. وسلسلة وكيل المستخدم سهلة النسخ، لذا لا تثبت شيئاً بمفردها. وقد نشرت الجهات الكبرى التي تشغّل زواحف مخصصة قوائم بنطاقات عناوين IP الخاصة بها، كما توثّق Google طريقة التحقق من Googlebot عبر بحث DNS عكسي يتبعه بحث DNS أمامي.

يسهل تنفيذ الفحص من سطر الأوامر أو من أداة تحليل السجلات. قارن عناوين IP في سجلاتك بالقائمة المنشورة لدى المشغّل، وعامل أي طلب يدّعي اسماً معيّناً لكنه صادر من خارج تلك النطاقات على أنه غير موثّق. واحتفظ بسجل لتاريخ سحب كل قائمة، لأن النطاقات تتغير مع الوقت.

1. استخرج من سجلات الخادم الطلبات التي يحتوي وكيل المستخدم فيها على GPTBot أو OAI-SearchBot أو PerplexityBot أو Perplexity-User أو Googlebot.
2. اجمع عناوين IP المصدر الفريدة لكل اسم مُدّعى.
3. بالنسبة لكل مشغّل ينشر نطاقاته، تحقق مما إذا كان عنوان IP يقع ضمن النطاقات المدرجة.
4. بالنسبة إلى Googlebot، أجرِ بحث DNS عكسياً لعنوان IP وتأكد من أن اسم المضيف يتبع Google، ثم أجرِ بحث DNS أمامياً للتأكد من أنه يعود إلى عنوان IP نفسه.
5. صنّف كل مصدر بأنه موثّق أو غير موثّق أو لا توجد له قائمة منشورة، ولا تعتمد إلا على أعداد الزحف من المصادر الموثّقة.
6. كرّر الفحص شهرياً، لأن عناوين IP الجديدة ووكلاء المستخدم الجدد تظهر مع الوقت.

كيف تتأكد من وصول زواحف الذكاء الاصطناعي إلى صفحات B2B المهمة لديك عبر سجلات الخادم؟

تُظهر سجلات الخادم ما طلبته الزواحف، ومتى، ورمز الحالة الذي أعاده الخادم. في موقع B2B، صفِّ هذه الطلبات لتقتصر على الصفحات التي تدفع خط المبيعات، مثل صفحات المنتج والتسعير والتكامل والأمان والمقارنة، وتحقق مما إذا كانت زواحف الذكاء الاصطناعي تصل إليها. الزاحف الذي لا يطلب صفحة مهمة لن يستطيع الاستشهاد بها، مهما كان ملف robots.txt لديك.

ركّز على ثلاثة أمور: وكلاء المستخدم الخاصون بالذكاء الاصطناعي الظاهرون، ومسارات الروابط التي يطلبونها، وهل تُعيد هذه الطلبات الحالة 200. الاستجابات المتكررة 403 أو 404 أو 5xx للزواحف الموثّقة تشير إلى مشكلات في الوصول، مثل قاعدة في جدار الحماية أو قالب معطّل، وليس إلى قرار متعمد في ملف robots.txt.

1. صدِّر سجلات الوصول الخام لفترة تمثيلية على الأقل، وتأكد من المنطقة الزمنية.
2. صفِّ الطلبات حسب وكلاء المستخدم الخاصين بالذكاء الاصطناعي، وافصل الطلبات الموثّقة عن غير الموثّقة بالطريقة المذكورة أعلاه.
3. احسب عدد الطلبات لكل مسار رابط، مع التجميع حسب نوع الصفحة مثل المنتج والمقالة والتوثيق والصفحات القانونية.
4. تحقق من رموز الحالة التي أُعيدت لكل زاحف موثّق، وأصلح أي نمط من أخطاء 4xx أو 5xx.
5. قارن المسارات المطلوبة بالصفحات التي تريد الاستشهاد بها، واربط الفجوات بالروابط الداخلية وخريطة الموقع.
6. سجّل النتائج كي تتمكن من مقارنتها بعد كل تغيير في robots.txt أو في بنية الموقع.

أين تأتي Rixe في الصورة

مراجعة السجلات يدوياً مفيدة في التدقيق الأولي، لكنها لا تُظهر كيف تصف محركات الإجابة علامتك التجارية للأسئلة التي يطرحها المشترون. منصة رؤية الذكاء الاصطناعي مثل Rixe تقيس كيف تذكر المساعدات العلامة التجارية وتستشهد بها لمجموعة من الأوامر، ما يتيح لك التحقق من أن وصول الزواحف يُترجم إلى ظهور فعلي.