كيفية تقييم إجابات RAG المستندة باستخدام ورقة أدلة

بقلم Michael Shamanoff، مؤسس Achla AI آخر مراجعة: 1 أغسطس 2026

لا تفيد قائمة التحقق من استناد إجابات RAG إلا إذا تركت سجلًا قابلًا للفحص. لكل إجابة اختبار، قسّم الادعاءات الجوهرية، واربط كل ادعاء بمقطع مصدر دقيق، واكتب حكمًا محدودًا مع سببه. ثم احفظ الاستعلام والمقاطع المسترجعة والإجابة والاستشهادات وإصدارات المصادر وإصدار النظام، حتى يمكن إعادة تشغيل الحالة نفسها لاحقًا. النتيجة ليست درجة دقة ولا وعدًا بصحة الإجابة، بل ورقة أدلة على مستوى الادعاء توضح ما تدعمه الأدلة الظاهرة، وأين يكون الاستشهاد مجرد مرفق، وأين ينبغي للنظام تسجيل غياب صادق للإجابة.

تقدم هذه المقالة بروتوكول التسجيل وإعادة التشغيل. وهي لا تستبدل الشرح الأوسع عن بحث AI المستند والاستشهادات والامتناع. مهمتها الأضيق جعل إجابة اختبار واحدة قابلة للتدقيق من دون اختلاق معيار أو إخفاء الحكم داخل معدل نجاح.

مَن وضع هذا البروتوكول، وكيف أُعد، ولماذا؟

Michael Shamanoff، مؤسس Achla AI، هو المؤلف المسمّى. أُعد البروتوكول من الموجز التحريري المعتمد، ومن مكوّن المنتج الحالي، ومن وثائق رسمية لـMicrosoft وRagas وAWS. يظل الطلب على الموضوع فرضية تجريبية لعدم توافر بيانات GSC أو Keyword Planner أو حجم بحث مرخّص أو أدلة مستقرة من الإكمال التلقائي.

تحوّل الطريقة الاستجابة إلى قرارات صغيرة بشأن الأدلة يستطيع المراجع إعادة إنتاجها. ففي تقييم الإجابة المستندة، قد يكون المصدر المرتبط ذا صلة بالموضوع لكنه لا يدعم الجملة المجاورة. والغرض محدود: تشخيص مشكلات الاسترجاع والدعم الظاهرة في حالة اختبار ثابتة. ويمكن لمن يحتاج إلى تعريف موجز قبل استخدام الورقة مراجعة مسرد بحث AI.

ابدأ بحالة أدلة ثابتة

لا تبدأ بإسناد درجة؛ جمّد الحالة أولًا. يجب أن تسجل مجموعة اختبار RAG الاستعلام الدقيق وإصدار مجموعة المصادر والمقاطع المسترجعة بترتيبها والإجابة المولّدة والاستشهادات المعروضة للمستخدم. واذكر حالة الأدلة المتوقعة: أي المقاطع يحتاج إليها جواب دقيق، وأي نقطة لا تستطيع المجموعة الإجابة عنها.

فيما يلي حالة اصطناعية مستخدمة في المقال. تصف متجرًا خياليًا؛ وليست نتيجة من Achla AI أو نتيجة عميل.

الاستعلام Q-017: «هل أستطيع إرجاع سلعة من البيع النهائي بعد 30 يومًا، ومتى تبدأ معالجة رد المال؟»

المصدر D-01، `/returns`، الإصدار `returns-v4`، المقطع `p04`: «يمكن إرجاع السلع المشتراة مباشرة من المتجر التجريبي خلال 30 يومًا تقويميًا من التسليم. سلع البيع النهائي مستثناة.»

المصدر D-02، `/refunds`، الإصدار `refunds-v2`، المقطع `p07`: «تبدأ معالجة رد المال بعد وصول السلعة المعادة إلى المستودع.»

حالة الأدلة المتوقعة: يدعم D-01 مهلة 30 يومًا للمشتريات المباشرة المؤهلة ويستثني البيع النهائي صراحة. ويدعم D-02 حدث بدء المعالجة. ولا يذكر أي مقطع مدة اكتمال المعالجة.

الإجابة المسجلة A-017: «يمكنك إرجاع أي سلعة خلال 30 يومًا، بما في ذلك سلع البيع النهائي.[D-01] يبدأ رد المال عند إرسال الطلب.[D-02] ويكتمل عادة خلال خمسة أيام.»

الحالة ناقصة عمدًا، وقيمتها أن كل حكم لاحق يستطيع الرجوع إلى نص ثابت. إذا كان الفريق يختبر اختلاف المفردات قبل هذه الخطوة، يشرح دليل الاسترجاع الدلالي عبر صيغ مختلفة سبب فحص الاسترجاع وتوليد الإجابة كمرحلتين منفصلتين.

قسّم الإجابة إلى ادعاءات جوهرية

قد يغيّر الادعاء الجوهري قرار القارئ إذا كان خاطئًا أو مفقودًا. افصل الروابط والكميات والاستثناءات والتواريخ والعلاقات السببية والخطوات الإجرائية عندما تعتمد على أدلة مختلفة. لا تقيّم فقرة كاملة كوحدة واحدة.

تسجل الورقة لـA-017 أربعة ادعاءات:

1. C-017-1: يمكن إرجاع أي سلعة.
2. C-017-2: مهلة الإرجاع 30 يومًا.
3. C-017-3: تبدأ المعالجة عند إرسال الطلب.
4. C-017-4: تكتمل المعالجة عادة خلال خمسة أيام.

تنتمي عبارة «بما في ذلك سلع البيع النهائي» إلى C-017-1 لأنها توسّع «أي سلعة» وتتعارض مع استثناء صريح. وعبارة 30 يومًا منفصلة لأن المقطع يدعم المهلة ضمن النطاق. أما ادعاء المدة فمنفصل لأن المقاطع لا تناقشها.

يمنع هذا التفكيك جزءًا مدعومًا من تمرير جزء غير مدعوم، ويجعل الخلاف ظاهرًا. يستطيع المراجع الاعتراض على حدود C-017-1 من دون تغيير حكم C-017-2 بصمت. وفي المجموعات العلمية أو التقنية، تعد هذه الممارسة محورية في سير بحث يبدأ بالاستشهادات، مع احتمال الحاجة إلى خبير لتحديد ما هو جوهري.

ابنِ ورقة أدلة على مستوى الادعاء

استخدم صفًا لكل ادعاء جوهري. تحتاج الورقة العملية إلى:

• معرّفات الحالة والاستعلام والإجابة والادعاء؛
• نص الادعاء المنسوخ من الإجابة المسجلة؛
• معرّفات الاستشهاد كما عُرضت؛
• معرّف المصدر المسترجع وإصداره ومعرّف المقطع وترتيب الرجوع؛
• نص المقطع الدقيق المستخدم للمراجعة؛
• حكم إرفاق الاستشهاد وسببه؛
• حكم الدعم الدلالي وسببه المكتوب؛
• تشخيص الأدلة الظاهرة؛
• المراجع ووقت المراجعة والملاحظات غير المحسومة.

تبدو ورقة الحالة هكذا:

احتفظ بالمقطع الدقيق في سجل الاختبار، لا بعنوان الصفحة وحده. فإذا كان للمصدر رابط قسم ثابت فاحفظ الرابط والمرساة ومعرّف المقطع؛ وإلا فاحفظ تجزئة المحتوى ونصًا محيطًا يكفي لإعادة تحديد موضعه بعد التعديل.

تستخدم أطر رسمية فصلًا مشابهًا. تميّز وثائق مقيمي RAG من Microsoft بين تقييم الاسترجاع وتقييم الاستجابة. وتوثّق Ragas مفهوم faithfulness من خلال الادعاءات التي يدعمها السياق المسترجع. وتوثّق AWS وضعي retrieve-only وretrieve-and-generate. تساعد هذه المراجع على فصل صلة الاسترجاع عن الاستناد، لكنها لا تقدم عتبة عالمية لهذه الورقة.

افصل إرفاق الاستشهاد عن الدعم الدلالي

يجيب «مرفق» عن سؤال آلي: هل ربطت الإجابة معرّف مصدر بالادعاء أو الجملة؟ ويجيب «مدعوم» عن سؤال دلالي: هل يبرر المقطع الدقيق الادعاء مع الحفاظ على النطاق والاستثناءات والكميات والتوقيت؟

لا تدمج الحقلين. لـC-017-1 استشهاد مرفق، لكن المقطع يناقض الادعاء. وليس لـC-017-4 استشهاد أو دعم. وقد تكون في حالة أخرى أدلة مسترجعة بلا استشهاد ظاهر؛ وهذه مشكلة إرفاق وليست دليلًا على فشل الاسترجاع.

استخدم أربعة أحكام محدودة:

• مدعوم: يدعم المقطع الظاهر الادعاء وشروطه المهمة؛
• مدعوم جزئيًا: يدعم جزءًا منفصلًا ويترك شرطًا أو نطاقًا أو علاقة جوهرية؛
• غير مدعوم: لا تبرر المقاطع الادعاء أو تتعارض معه؛
• غير قابل للتقييم: السجل ناقص أو يحتاج القرار إلى خبرة أو دليل خارجي.

كل حكم يحتاج إلى سبب مكتوب. التسمية فهرس وليست التحليل. وينبغي لـ«غير قابل للتقييم» تحديد ما ينقص بدل أن يصبح بديلًا سهلًا للمراجعة.

شخّص فقط ما يسمح به السجل الظاهر

قد تكشف الورقة عرضًا من دون إثبات سببه الخفي. استخدم لغة حذرة وافصل الملاحظة عن الفرضية.

المصفوفة ليست مقيمًا آليًا ولا تدّعي تحديد المكوّن الذي سبب الخطأ. إنها تضيق نطاق الفحص التالي. يفيد هذا الفصل عند الانتقال من إيجاد الصفحات إلى واجهة إجابة؛ ويعرض لماذا يجد بحث الموقع صفحات بينما يحتاج الزوار إلى إجابات الفرق المعماري.

سجّل غياب الإجابة الصادق كنتيجة أساسية

يضيف اختبار الغياب الصادق حالة لا تتضمن مصادرها الحقيقة المطلوبة. في Q-017 لا سند لمدة خمسة أيام. يمكن أن تقول إجابة محدودة: «تذكر المصادر أن المعالجة تبدأ بعد وصول السلعة إلى المستودع، لكنها لا تحدد مدة الاكتمال.» وينبغي للورقة فصل حدث البدء المدعوم عن المدة غير المتاحة.

في مكوّن Achla AI الحالي، يتطلب المسار المستند الأساسي نص إجابة مع استشهادات قبل اعتباره مستندًا؛ وتملك أداة العرض أيضًا حالة ظاهرة لعدم وجود إجابة ويمكنها إظهار روابط المصادر. هذا وصف للتطبيق المحلي المفحوص، وليس ادعاء أداء أو موثوقية. ويحتاج الغياب أيضًا إلى بيانات إعادة التشغيل، فقد يضيف إصدار مصدر لاحق الحقيقة المفقودة.

احفظ بيانات إعادة التشغيل والإصدار

لا تفيد الإعادة ما لم تعرف ما بقي ثابتًا وما تغيّر. خزّن:

• نص الاستعلام ومعرّفه؛
• نص الإجابة ومعرّفها؛
• المقاطع المسترجعة بالترتيب ودرجاتها إن ظهرت والمرشحات؛
• معرّفات الاستشهادات المعروضة وربطها بالادعاء أو الجملة؛
• معرّف snapshot للمجموعة، والمصادر والإصدارات والمقاطع والتجزئات؛
• معرّفي إعدادات الاسترجاع والتوليد؛
• إصدار prompt أو التعليمات ومعرّف النموذج وإصدار التطبيق؛
• locale ووقت الاختبار والمراجع وإصدار مخطط الورقة.

عند إعادة regression لـRAG أنشئ معرّف تشغيل جديدًا. لا تستبدل الإجابة القديمة ولا تضف إليها مقاطع جديدة بأثر رجعي. قارن صفوف الادعاءات فقط حين تكون الحالات متوافقة. وإذا تغير الاستعلام أو snapshot المصدر أو نص المقطع فاذكر ذلك صراحة. قد تستحق النتيجة المتغيرة التحقيق، لكن الورقة وحدها لا تثبت السبب.

تجنب تحويل البروتوكول إلى لوحة ترتيب. لا تحوّل تسميات الأحكام إلى متوسط أو درجة مختلقة، ولا تضع عتبة عشوائية، ولا تنشر معدل نجاح من مجموعة غير ممثلة. يمكن تجميع النتائج ضمن تصميم تقييم معتمد منفصل، لكن هذا السجل يحفظ الدليل والحكم قبل التجميع.

اجمع حزمة التدقيق

تتضمن أصغر حزمة مفيدة الحالة المجمدة ومخرجات الاسترجاع الخام والإجابة المسجلة والاستشهادات المعروضة وصفوف الادعاءات المكتملة وملاحظات المراجع وبيانات الإصدارات ومقارنة الإعادة. أدرج مخطط الورقة وmanifest بتجزئات الملفات. وإذا غاب عنصر فسجّله كمفقود بدل إعادة بنائه من الذاكرة.

في مجموعة توثيق محدودة، احتفظ بالحزمة بجانب المالك التشغيلي لسير بحث التوثيق، لا بمعزل عن سجل إصدارات المصدر.

احفظ قرارات المراجعين كسجل إلحاقي أو بإصدارات. قد يعترض مراجع لاحق على تقسيم ادعاء أو حكم؛ احتفظ بالأصل والتعديل الموثق. هذا التاريخ أنفع من ورقة تبدو نظيفة ولا يمكن تتبع قراراتها.

القيود

يقيّم البروتوكول الدعم مقابل أدلة مرئية محفوظة. ولا يثبت صحة المصدر أو حداثته أو اكتماله أو مناسبته لقرار عالي المخاطر. ولا يكتشف كل مصدر ربما فاته الاسترجاع. ولا يستبدل مراجعة خبير أو اختبار الأمن والخصوصية وإمكانية الوصول أو تقييم latency وتجربة المستخدم.

تتطلب حدود الادعاءات والأحكام الدلالية اجتهادًا. وقد يختلف المراجعون، خصوصًا عندما يلمح المقطع إلى علاقة ولا يصرح بها. سجّل الخلاف وسببه. ولا تحوّل البروتوكول إلى حكم آلي أو معيار RAG عالمي من دون منهج متحقق منه بصورة منفصلة.

استخدم الورقة على مجموعة موقع محدودة

اختر مجموعة صغيرة ذات إصدارات من أسئلة زوار حقيقية، وأدرج فجوة أدلة معروفة واحدة على الأقل، واحفظ حزمة التدقيق لكل إعادة. ينتج عن ذلك سجل قابل للفحص لتقييم استناد RAG من دون ادعاء يتجاوز السجل.

إذا أردت اختبار المسار على محتوى تملكه، اربط موقعك وأبقِ قرارات الحقائق والأمن والنشر لدى مراجع بشري.