قاعدة واحدة في robots.txt ستمنع تدريب الذكاء الاصطناعي على موقعك في 2027. هل يجب أن تستخدمها شركتك؟

ما القاعدة الجديدة في robots.txt لتدريب الذكاء الاصطناعي؟

في 30 أكتوبر 2026 نُشرت لدى فريق مهام هندسة الإنترنت مسودة بعنوان "إشارة تفضيل التدريب المقروءة آليًا". كاتبها كيفن كيلي، وهو مدرج ضمن أنثروبيك. وهي تضيف إلى ملف robots.txt اسمًا مشتركًا واحدًا، هو رمز التدريب المشترك. والمجموعة التي تحمل هذا الاسم تخبر شركات الذكاء الاصطناعي هل يجوز استخدام صفحاتك في تدريب نماذجها.

مثال المسودة نفسها مكوّن من ثلاثة أسطر:

• سطر وكيل المستخدم وفيه رمز التدريب المشترك
• سطر منع للموقع كله
• سطر سماح لمجلد الملف الصحفي

ومعناه: لا تدريب على الموقع كله باستثناء الملف الصحفي. والأسطر الحرفية منشورة في المسودة وفي النسخة الإنجليزية من هذا المقال. ولا تضيف المسودة أوامر جديدة، فمن عدّل ملف robots.txt من قبل يستطيع كتابتها. لكنها ما زالت مسودة فردية: تقول صفحتها إنها غير معتمدة من فريق مهام هندسة الإنترنت وليست لها صفة رسمية.

أي الشركات ستحترمها، ومتى؟

ويذكر توثيق زواحف جوجل، المحدَّث في 30 أكتوبر، موعد أوائل 2027. ويذكر موقع سيرش إنجن جورنال أن جوجل ستعامل الرفض المشترك كأنك منعت رمز جوجل إكستندد، ما لم تضع قاعدة خاصة به بنفسك.

هل يضر منع التدريب بترتيب موقعي في جوجل أو بينج؟

لا، بحسب الشركتين. يقول توثيق جوجل إن جوجل إكستندد لا يؤثر في ظهور الموقع في بحث جوجل وليس عاملًا في الترتيب. وتقول مايكروسوفت إن التفضيلات الجديدة لا تغيّر أهلية الموقع لنتائج بينج التقليدية.

لكن هناك أمرين قد يتغيران، ومن السهل أن يفوتاك:

• إجابات تطبيقات جيميناي. يشمل جوجل إكستندد أيضًا الإسناد ببحث جوجل في تطبيقات جيميناي. فإذا احتُسب رفضك منعًا لجوجل إكستندد، فقد تتوقف صفحاتك عن تغذية تلك الإجابات. ويذكر سيرش إنجن جورنال أن المواقع التي تسمح صراحة لجوجل إكستندد تبقى مؤهلة.
• إجابات كوبايلوت وبينج بالذكاء الاصطناعي. تعامل مايكروسوفت الإسناد خيارًا منفصلًا يُضبط صفحة بصفحة بوسم في الصفحة أو ترويسة في الخادم. ولا يوجد له إعداد على مستوى الموقع في robots.txt، وتحذر مايكروسوفت من أن منع الإسناد سيقلل كثيرًا من ظهورك في إجابات الذكاء الاصطناعي.

ما الفرق بين التدريب والإسناد في الذكاء الاصطناعي؟

التدريب يغيّر ما تعلّمه النموذج. تصبح صفحتك جزءًا من معرفته العامة، بلا رابط إليك. أما الإسناد فيعني أن مساعد الذكاء الاصطناعي يقرأ صفحتك وهو يكتب الإجابة، وغالبًا مع إشارة إلى المصدر. ولشركة تريد استفسارات، الإسناد هو الظهور الذي يهم.

هل يجب على شركة صغيرة أن ترفض تدريب الذكاء الاصطناعي؟

نصيحتنا: لمعظم الاستوديوهات والعيادات وشركات الاستشارات وشركات البرمجيات، لا. صفحات الخدمات والأسعار ودراسات الحالة والأسئلة الشائعة موجودة كي يُعثر عليها ويُستشهد بها. أما حالات الرفض فأضيق: دورات مدفوعة، أو أبحاث تبيعها، أو مكتبة للأعضاء. وحتى في هذه الحالات، تقول المسودة بوضوح إن الرمز ليس أمرًا للزحف. التفضيل ليس قفلًا، فالمحتوى الخاص يحتاج إلى تسجيل دخول.

وإذا أردت أن تعرف ماذا يقول ملف robots.txt والوسوم والبيانات المنظمة في موقعك لمحركات البحث ومساعدي الذكاء الاصطناعي اليوم، فخدمة تحسين الظهور في البحث ومحركات الإجابة لدينا تبدأ بتدقيق تقني، والتقييم المجاني للعلامة التجارية يتضمن تقييمًا سريعًا للظهور في محركات الإجابة.

مثال عملي: شركة استشارات في دبي من 10 أشخاص لديها مكتبة تقارير مدفوعة

هذا سيناريو افتراضي، وليس عميلًا حقيقيًا.

1. 1حدّد غرض كل قسم. صفحات الخدمات ودراسات الحالة والمدونة تجلب الاستفسارات. وقسم التقارير يضم تقارير قطاعية مدفوعة.
2. 2قرّر. يبقى التدريب مسموحًا في كل مكان باستثناء قسم التقارير.
3. 3أضف مجموعة واحدة في آخر ملف robots.txt، منفصلة عن غيرها: سطر وكيل المستخدم برمز التدريب المشترك، ثم سطر منع لمسار قسم التقارير.
4. 4اترك المجموعات الأخرى كما هي. تقول المسودة إن مجموعة وكيل المستخدم العامة (النجمة) لا تنطبق على هذا الرمز، وإن الرمز يعمل باستقلال عن قواعد الزواحف مثل جوجل بوت أو جي بي تي بوت.
5. 5راجع الوسوم القديمة. كان الموقع قد أضاف وسم نو أركايف إلى تقاريره. وتتوقف مايكروسوفت عن قراءة وسمي نو أركايف ونو كاش بوصفهما تفضيلات للذكاء الاصطناعي بعد 1 مارس 2027، فيستبدلهما الفريق بوسم التدريب الجديد من بينج على مستوى الصفحة.
6. 6انقل التقارير الكاملة خلف تسجيل دخول. وتبقى في الصفحات العامة خلاصة يمكن الاستشهاد بها.
7. 7اختبر بعد شهر. اسأل تشات جي بي تي وبربلكسيتي وكوبايلوت الأسئلة التي يطرحها المشترون، وتحقق هل يُستشهد بصفحات الخدمات. وتُظهر أداة تقييم الظهور في محركات الإجابة المجانية ما ينقص الصفحة.

ماذا تفعل قبل 1 مارس 2027؟

1. 1افتح ملف robots.txt في موقعك واقرأ ما فيه. فالقوالب والإضافات تمنع أحيانًا زواحف الذكاء الاصطناعي دون أن يقرر أحد ذلك.
2. 2قرّر قسمًا بقسم: الصفحات التي تبيع، والمحتوى المدفوع أو الخاص.
3. 3أضف مجموعة رمز التدريب المشترك للأقسام التي تريد إبعادها عن التدريب فقط.
4. 4إذا كنت تستخدم وسمي نو أركايف أو نو كاش، فاستبدلهما قبل 1 مارس 2027. والمواقع التي تستخدمهما في 15 ديسمبر 2026 تستطيع أيضًا ضبط تفضيل إسناد مؤقت في أدوات مشرفي المواقع من بينج بدءًا من ذلك التاريخ.
5. 5لا تمنع الإسناد في الصفحات التي تريد أن يُستشهد بها.
6. 6اجعل قواعد كل شركة متسقة. وجد سيرش إنجن جورنال أن توثيق أوبن إيه آي لا يوضح بعد كيف تتفاعل القاعدة المشتركة مع قاعدة جي بي تي بوت، لذلك ننصح بتجنب القواعد المتعارضة.

وللجانب الآخر من السؤال، أي كيف يُستشهد بك بدل كيف ترفض، اقرأ إجابات الذكاء الاصطناعي تعرض الآن روابط أكثر وكيف تجعل تشات جي بي تي يوصي بشركتك.

المصادر

• إشارة تفضيل التدريب المقروءة آليًا، المسودة رقم 00 (متتبع بيانات فريق مهام هندسة الإنترنت، 30 أكتوبر 2026)
• الزواحف الشائعة لدى جوجل (جوجل للمطورين، محدَّثة في 30 أكتوبر 2026)
• محتواك، خيارك: تفضيلات أوضح للتدريب والإسناد (مدونة مايكروسوفت بينج، 30 أكتوبر 2026)
• جوجل ومايكروسوفت وأوبن إيه آي تخطط لاحترام رفض مشترك لتدريب الذكاء الاصطناعي (سيرش إنجن جورنال، 1 نوفمبر 2026)