كيفية تدريب روبوت محادثة على محتوى موقعك

<div dir="rtl">

يعني تدريب روبوت محادثة على موقعك عادةً جمع المحتوى العام المعتمد وفهرسته، ثم استرجاع المقاطع الملائمة لكل سؤال وإنشاء إجابة من تلك الأدلة. وفي معظم إعدادات روبوتات المحادثة المُدارة للمواقع، لا يعني ذلك تغيير أوزان نموذج اللغة الأساسي لكل صفحة. وهذا الفرق مهم لأن كل طبقة تتعطل بطريقة مختلفة.

لذلك يبدأ التدريب المفيد لروبوت محادثة على الموقع بقرارات حول المصادر، لا بزر للرفع. قرّر ما يجوز للنظام استخدامه، وهيّئ تلك الصفحات للاسترجاع، وسجّل إصداراتها، واختبر الأسئلة القابلة للإجابة وغير القابلة لها. وتعامل مع كل استشهاد بوصفه شيئًا يجب فحصه، لا دليلًا تلقائيًا على صحة الإجابة.

Michael Shamanoff مؤسس Achla AI

المنهج: يستخدم هذا الدليل وثائق Google Cloud وIETF الرسمية التي روجعت في 3 أغسطس 2026، إضافة إلى منتج Achla المحلي. لم تُقَس أي نتيجة أو معيار أداء للمنتج.

ماذا يعني «تدريب روبوت محادثة على موقع»؟

غالبًا ما تختصر العبارة أربع عمليات منفصلة. ولاتخاذ قرار مفيد بشأن RAG مقابل الضبط الدقيق، حدّد العملية التي تحتاجها فعلًا. تصف Google Cloud الضبط الدقيق بأنه تدريب إضافي لنموذج مدرّب مسبقًا على بيانات خاصة بالمهمة، وتقارنه بالتوليد المعزَّز بالاسترجاع الذي يضيف معرفة خارجية إلى الـprompt. كما تصف وثائق الضبط الحالية الضبط الدقيق الخاضع للإشراف بأنه تعلّم من أمثلة معلَّمة وتحديث لمعاملات النموذج. (نظرة عامة على الضبط الدقيق؛ وثائق الضبط)

لا يصف هذا النموذج التشخيصي خط الأنابيب الخاص بكل مزوّد. فقد تجمع المنتجات بين خطوات أو تقنيات استرجاع مختلفة. ولا يثبت الزحف حدوث الفهرسة، ولا يثبت الاسترجاع اختيار المقطع الصحيح، ولا يثبت رابط المصدر أن الادعاء مدعوم.

حدّد محتوى الموقع الذي يجوز لروبوت المحادثة استخدامه

قبل إنشاء روبوت محادثة من محتوى الموقع، احصر الصفحات العامة والحالية والمفيدة والمصرح بها. وامنح كل مصدر قرارًا واحدًا:

افصل قواعد robots عن التحكم في الوصول

يعرّف RFC 9309 بروتوكول استبعاد الروبوتات بأنه قواعد يُطلب من برامج الزحف احترامها، وينص صراحةً على أن هذه القواعد ليست تصريحًا بالوصول. ويوصي أيضًا بأمن حقيقي على مستوى التطبيق، مثل مصادقة HTTP، للمسارات المحمية. قد تكشف قاعدة Disallow مسارًا؛ لكنها لا تجعل المورد سريًا. (IETF RFC 9309)

لا تضع بيانات اعتماد في عناوين URL المخصصة للزحف، ولا تتجاوز جدران تسجيل الدخول، ولا تعامل مواد الموظفين فقط أو البيانات الخاصة بالعملاء أو الخاضعة للتنظيم أو الموجودة على شبكة داخلية أو خاصة كأنها عامة. يتحقق زاحف Achla من قرارات robots، ويرفض عناوين URL التي تحتوي بيانات اعتماد، ويحجب الأهداف الخاصة أو الداخلية. وهذا لا يثبت دعم إدخال قاعدة معرفة خاصة.

هيّئ محتوى الموقع وافهرسه لاسترجاع مفيد

من أجل فهرسة محتوى الموقع للذكاء الاصطناعي، اجعل كل قسم مفهومًا عند استرجاعه بعيدًا عن صفحته. فقد يظل النص الذي زُحف إليه مصدرًا ضعيفًا للإجابة.

1. امنح كل قسم عنوانًا وصفيًا يطابق سؤاله.
2. ضع الإجابة المباشرة بالقرب منه، ثم أضف الشروط والاستثناءات والتواريخ والأمثلة.
3. حافظ على مالك أساسي ثابت لكل حقيقة، وعالج الصفحات المكررة أو المتناقضة.
4. استخدم أسماء متسقة للمنتجات والخطط والسياسات والمفاهيم التقنية.
5. سجّل عنوان URL للمصدر، وتاريخ التحديث ذي الدلالة، ونتيجة الوصول، ونتيجة robots، والأسئلة التي ينبغي أن يجيب عنها.

افصل بين جاهزية الزحف وجاهزية الإجابة:

للاطلاع على سير عمل أعمق لتحرير المصادر، راجع كيفية تهيئة أقسام الموقع للاسترجاع. لا توصِ بأزرار تحديث أو جداول زمنية أو أوقات فهرسة ما لم يوثّقها المنتج المحدد ويتيحها.

كيف تحافظ على حداثة معرفة روبوت المحادثة؟

من أجل الحفاظ على حداثة معرفة روبوت المحادثة، استخدم التحديث وإعادة الاختبار بدل «إعادة التدريب». تميّز Google Cloud بين التحديث التلقائي واليدوي والقائم على خريطة الموقع، وتعرّف التحديث أو إعادة الزحف بأنه جلب أحدث نسخة من الصفحة وفهرستها. (تحديث صفحات الويب)

1. احفظ إصدار المصدر القديم واستعلام اختبار ثابتًا.
2. انشر التصحيح المصرح به في مصدر الحقيقة.
3. شغّل آلية إعادة الزحف أو التحديث التي يدعمها المزوّد، أو انتظرها.
4. تحقق من إمكان العثور على الصفحة أو الإصدار المتغير في فهرس المحتوى.
5. أعد تشغيل الاستعلام نفسه وقارن الإجابة والاستشهادات وحكم الدعم البشري.

لا تستنتج لـAchla جدول تحديث أو مستوى خدمة أو تحديثًا فوريًا من وثائق Google الخاصة بهذا المزوّد. فالحداثة حالة مرصودة: ينبغي للمراجع تحديد إصدار المصدر الذي كان متاحًا عند اختبار الإجابة.

اطلب استشهادات من روبوت الموقع، لكن تحقّق من دعمها

يسهل تدقيق الإجابة المستندة إلى مصادر عندما تعرض الواجهة مصادرها. تعرّف وثائق الإجابات في Google Cloud الإجابة بأنها نص يولده الذكاء الاصطناعي استنادًا إلى نتائج البحث، وتوفر خيارات للاستشهادات ودعم الـgrounding على مستوى الادعاء. وهذه آليات للتحقق وليست ضمانًا شاملًا للصحة. (الحصول على الإجابات والمتابعات)

راجع كل عبارة جوهرية بثلاثة أسئلة:

1. هل تحتوي الصفحة المستشهد بها على المقطع الملائم؟
2. هل يدعم ذلك المقطع الادعاء كاملًا، بما في ذلك الشروط والنطاق والتاريخ؟
3. إذا كان الدليل غائبًا أو جزئيًا، فهل ينبغي للإجابة أن تضيق نطاقها أو تطرح سؤالًا أو تُرجع حالة عدم عثور محدودة؟

يمكن لكود أداة Achla الذي تم فحصه عرض علامات استشهاد ضمن النص وقائمة مصادر وحالة ظاهرة لعدم وجود إجابة. وهذا يثبت سلوك الواجهة الحالي فقط؛ ولا يثبت أن كل إجابة صحيحة أو أن كل استشهاد يدعم كل ادعاء. راجع كيف يضع الـ`grounding` والاستشهادات حدودًا للإجابة.

كيف تختبر روبوت محادثة مدربًا على محتوى الموقع قبل الإطلاق؟

استخدم سجلًا ثابتًا للجاهزية وإعادة التشغيل لتدريب الموقع. فهو يحوّل العرض التجريبي الذاتي إلى قرار قابل للفحص من دون اختلاق نسبة نجاح.

أنشئ مصفوفة أسئلة ثابتة

أدرج فئات الحالات التالية على الأقل:

• سؤالًا يمكن الإجابة عنه من صفحة عامة واحدة واضحة؛
• سؤالًا يتطلب صفحتين معتمدتين؛
• سؤالًا لا يمكن الإجابة عنه إلا جزئيًا لغياب شرط؛
• حالة قديمة بعد تغيير معروف للمصدر؛
• سؤالًا بلا دليل ينبغي أن ينتج حالة عدم عثور محدودة؛
• سؤالًا عن بيانات خاصة أو محظورة يجب ألا يكشف مادة غير متاحة؛
• سؤالًا ملتبسًا ينبغي أن يستدعي توضيحًا أو إجابة ضيقة.

سجّل لكل صف:

test_id؛ نص الاستعلام الدقيق؛ فئة الحالة؛ عناوين URL المتوقعة للمصادر؛ الدليل المتوقع أو غيابه؛ إصدار المصدر/تاريخه؛ إصدار التحديث أو الفهرس إن توفر؛ الإجابة المرصودة أو حالة عدم العثور؛ عناوين URL للاستشهادات المعادة؛ حكم الدعم البشري؛ طبقة الفشل المرجحة؛ الإجراء التالي؛ المراجع؛ observed_at.

هذا بروتوكول، وليس نتيجة لـAchla. لم يُجرَ عرض تجريبي بأسئلة ثابتة؛ ولذلك تظل الإجابات والاستشهادات والمعدلات والنتائج المرصودة مجهولة.

حدّد الطبقة التي فشلت

• فشل المصدر: لا يحتوي الموقع على إجابة واضحة وحديثة. أصلح مصدر الحقيقة.
• فشل الوصول/الفهرس: مصدر عام مصرح به غير متاح للزاحف أو قديم في الفهرس. عالج الوصول أو التحديث.
• فشل الاسترجاع: المصدر الصحيح مفهرس، لكن المقطع المتوقع لم يُختر. افحص بنية المحتوى والاسترجاع.
• فشل التوليد/الدعم: الدليل موجود، لكن الإجابة تضيف شرطًا جوهريًا أو تحذفه أو تناقضه. ضيّق الإجابة وأعد الاختبار.
• فشل عرض الاستشهاد: ربما استُخدم الدليل، لكن المراجع لا يستطيع فحصه. لا تصف الإجابة بأنها قابلة للتحقق.
• غير قابل للتقييم: أدلة النظام المخفية غير متاحة. سجّل الحد بدل التخمين.

اتخذ قرارًا محدودًا

أرسل حالة الاستخدام إلى مراجعة إطلاق بشرية فقط عندما تملك الحالات الإيجابية الحاسمة للأعمال أدلة داعمة ظاهرة، وتظل الحالات الحاسمة ذات الأدلة الغائبة أو البيانات الخاصة محدودة، ويكون لكل تحذير مالك. راجع وأعد التشغيل عندما يوجد إصلاح محدد للمصدر أو الوصول أو الحداثة أو الاسترجاع أو التوليد أو الاستشهاد. ولا تطلق حالة الاستخدام عندما تكون المصادر المطلوبة غير مدعومة أو خاصة، أو عندما تبقى الادعاءات الحاسمة غير مدعومة، أو عندما يتعذر فحص مسار الأدلة.

استخدم ورقة ذات إصدارات من أجل تسجيل الأدلة على مستوى الادعاء وإعادة تشغيلها، بدل استبدال الصفوف الفاشلة بأسئلة أسهل.

روبوت موقع مدار أم RAG مخصص أم ضبط دقيق؟

يعتمد أفضل نموذج تشغيل على مقدار التحكم الذي تحتاجه والعمل الذي يستطيع فريقك تحمّل مسؤوليته.

يصف منتج Achla بحثًا مُدارًا بالذكاء الاصطناعي لمحتوى المواقع العامة: يضمّن المالك سكربتًا بدل تشغيل واجهة الإجابة الخلفية كاملة. كما يعرض المنتج المصادر وحالة عدم وجود إجابة. وهذه حقائق تنفيذ، لا وعود نتائج. اقرأ ما الذي يزيله الإعداد المدار، وما الذي يظل على المالك اختباره.

أخطاء شائعة في تدريب روبوتات محادثة المواقع

1. تسمية الإدخال ضبطًا دقيقًا. سمِّ الفهرسة والاسترجاع والتوليد وضبط المعاملات كلًا على حدة.
2. فهرسة كل صفحة. اتخذ قرارًا صريحًا: include أو fix أو exclude أو unsupported.
3. التعامل مع `robots.txt` كأداة خصوصية. استخدم المصادقة والتفويض للمواد المحمية.
4. افتراض أن الزحف يثبت الاسترجاع. اختبر السؤال نفسه وافحص الأدلة المعادة.
5. التعامل مع أي استشهاد كدعم. افحص المقطع والشروط والنطاق والتاريخ.
6. اختبار الأسئلة السهلة فقط. أضف حالات اختبار سلبية جزئية وغائبة وقديمة وخاصة وملتبسة.
7. تحديث المحتوى من دون إعادة التشغيل. تحقق من الإصدار المحدّث، ثم كرر الاستعلام نفسه.

الأسئلة الشائعة

هل يمكن تدريب روبوت محادثة من موقع؟

نعم، إذا كان المقصود بـ«التدريب» استخدام محتوى الموقع المصرح به كمصدر للاسترجاع. وسير العمل المعتاد هو اختيار الصفحات العامة وتهيئتها والزحف إليها أو استيرادها وفهرستها واختبار الإجابات المولدة. ولا يستلزم ذلك بالضرورة ضبط النموذج الأساسي دقيقًا.

هل تدريب روبوت محادثة لموقع هو نفسه الضبط الدقيق؟

لا. يغيّر الضبط الدقيق معاملات النموذج أو الـadapters المتعلَّمة باستخدام أمثلة تدريب. أما روبوت الموقع فعادةً ما يسترجع مقاطع حديثة من فهرس محتوى ويقدمها كسياق وقت الإجابة. ويمكن أن يستخدم المنتج الطريقتين، لكنهما تحلان مشكلتين مختلفتين.

كيف يستخدم RAG محتوى الموقع؟

يبحث RAG في مصدر معرفة معتمد عن معلومات ملائمة، ويضيف السياق المختار إلى التوليد. تختلف التطبيقات: فقد يستخدم بعضها الـembeddings أو إشارات الكلمات المفتاحية أو الاسترجاع الهجين. اختبر المقطع المتوقع لكل استعلام مهم بدل افتراض أن البنية تضمن الدعم.

كم مرة ينبغي تحديث محتوى روبوت المحادثة للموقع؟

حدّثه بعد تغييرات المصدر ذات الدلالة ووفق الآليات الموثقة للمنتج المختار. تجنب جدولًا موحدًا. سجّل إصدار المصدر، وتحقق من إمكان البحث في الإصدار المحدَّث، وأعد تشغيل الأسئلة الثابتة حتى تكون الحداثة مرصودة لا مفترضة.

هل يستطيع روبوت محادثة عام للموقع استخدام بيانات خاصة أو محمية بتسجيل الدخول؟

فقط إذا كان للمنتج سير عمل منفصل للبيانات الخاصة جرى التحقق منه والتصريح به. لا ينبغي لزاحف موقع عام تجاوز جدران تسجيل الدخول أو إدخال بيانات اعتماد أو موارد شبكة خاصة أو بيانات غير مصرح بها. ولا تدعم الأدلة التي روجعت لهذه المقالة إدخال قاعدة معرفة خاصة في Achla.

القيود والخطوة التالية

تختلف بُنى المزوّدين وضوابط الزحف وسلوك الفهرسة وتوقيت التحديث وطرق الاسترجاع وسلوك الاستشهادات. وقد يُفوَّت مصدر حديث، أو يُساء استخدام مقطع مسترجع، أو يكون الاستشهاد غير ذي صلة أو ناقصًا. قواعد robots ليست مصادقة، والزحف إلى موقع عام ليس موصل بيانات خاصة. يقدم هذا الدليل بروتوكول مراجعة، لا استشارة قانونية أو شهادة أمنية أو معيار أداء أو ضمانًا للدقة أو الترتيب أو التحويل أو خفض تذاكر الدعم أو مدة الإطلاق.

إذا كان سير العمل المدار للمواقع العامة يناسب نطاقك، فاربط موقعك، وابدأ بمجموعة صغيرة من المصادر المصرح بها، وشغّل المصفوفة الثابتة الإيجابية والسلبية. تعامل مع النتيجة بوصفها دليلًا لقرار بشري، لا موافقة تلقائية على الإطلاق.

</div>