تحكيم الجواب المرجعي والخلاف بين المقيمين

لا يُنشئ الاختبار دليلًا إذا كانت «الإجابة الصحيحة» نفسها مجهولة أو متغيرة. في نظام يسترجع وثائق، اكتب مرجع الحكم قبل الاطلاع على جواب النظام: نص السؤال، السياق المسموح، المستند الذي يسند الإجابة، تاريخ سريان المستند، عناصر الجواب الواجبة، والاستثناء الذي يغير النتيجة. لا يكفي أن يقول المحكّم «الرد يبدو جيدًا»؛ قد تكون الصياغة سليمة لكن السند يعود لإصدار قديم، أو يذكر القرار دون شرطه الحاسم. تقترح أبحاث تقييم الاسترجاع المنشورة في ACL فصل صحة الإجابة عن صلتها بالمقاطع الداعمة؛ نستخدم هذا الفصل منهجيًا، ولا ننقل درجات تلك الدراسة إلى خدمتنا الافتراضية. وحدة الحكم قد تكون ادعاءً منفردًا أو جوابًا كاملًا أو فعلًا لاحقًا، فسمِّ الوحدة في الدليل. أما حين لا يوجد مصدر كافٍ، فالحكم المرجعي قد يكون الامتناع مع إحالة مناسبة بدل اختلاق جواب من وثيقة قريبة.

ضع سلمًا صغيرًا ذا أوصاف سلوكية. للمثال التعليمي، الدرجة2 تعني أن الجواب يورد النتيجة والشرط الحاسم ويستند إلى وثيقة سارية لهذه الحالة؛ الدرجة1 تعني معلومة صحيحة جزئيًا مع نقص غير مضلل لكنه يمنع قرار المستخدم؛ الدرجة0 تعني خطأ مؤثرًا أو سندًا لا ينطبق أو ادعاء تنفيذ لم يحدث. أضف وسمًا منفصلًا للكشف أو الفعل غير المصرح، لأنه لا يصح تحويله إلى مجرد نقصان نقطة. هذا السلم ليس معيارًا عامًا لكل منتجات الذكاء الاصطناعي؛ عدله وفق أثر الخدمة. اكتب أمثلة حدّية لكل درجة: جواب قصير يذكر الشرط قد يستحق2 وإن كان أقل بلاغة، وجواب طويل يذكر استثناءً غير منطبق لا يستحق2 بسبب طوله. لا تُدخل الاستشهاد شكلًا في معيار الصحة: رابط موجود قد يقود إلى مقطع لا يدعم الادعاء، وقد تكون إجابة صحيحة بلا مرجع ظاهر لكنها تخفق في شرط إظهار السند الذي وعد به المنتج.

حين يراجع شخصان الجواب، أخفِ هوية نسخة النظام والنتيجة التسويقية قدر الإمكان. أعطهما سؤالًا ووثائق مرجعية وتاريخًا وحدود استخدام، واطلب حكمًا مستقلًا مع سبب محدد؛ لا تطلب رأيًا عامًا قبل تعريف الدرجات. بعد ذلك اعرض جدول الخلاف. قد يتفق المقيمان لأنهما استعملا وثيقة قديمة معًا؛ الاتفاق يقيس الاتساق ولا يثبت صحة المرجع. وقد يختلفان لأن السؤال لا يحدد ما إذا كان المستخدم مستثنى، فتكون المشكلة في معطيات الاختبار لا في أحد المقيمين. صنّف سبب الخلاف: تفسير شرط، صلاحية وثيقة، غموض سؤال، أو اختلاف في تطبيق السلم. الحالات التي تؤثر في بوابة إصدار أو شريحة نادرة تُرفع إلى محكّم ثالث مؤهل مع وثائقها، ويُحفظ الحكم السابق وسبب تغييره. ما لا يمكن حسمه بمصدر متاح يوسم غير قابل للتحكيم مؤقتًا ولا يدخل مقام الدقة، مع تقرير عدد هذه الحالات لأن حذفها الانتقائي قد يرفع الدرجة ظاهريًا.

فرّق بين ثلاث نسب قبل عرض التقرير: نسبة الحالات التي أمكن تحكيمها من جميع المرشحات، ونسبة اتفاق المقيمين الأولية على القابل للتحكيم، ونسبة نجاح النظام بعد الحسم. مثال: من50 حالة، هناك5 بلا وثيقة كافية؛ لا يصح أن تُعلن 40/45 جوابًا صحيحًا دون إظهار أن التغطية المرجعية45/50=90%. إذا اتفق المقيمان على36 من45، فاتفاقهما الأولي80%، وليس نسبة صحة النظام. تُحسم9 حالات متنازع عليها ثم يعاد حساب نجاح النظام على45 حالة فقط. إن كان الخلاف متركزًا في شريحة استثناء من10 حالات، فلا يذوبه اتفاق مرتفع في الأسئلة السهلة. يمكن قياس اتفاق أدق يأخذ المصادفة في الحسبان، لكنه لا يصلح مصدرًا للحقيقة عند فساد الوثيقة. يبدأ العلاج بفحص سبب الخلاف والحدود، لا باختيار إحصاء يمنح مظهرًا أفضل.

احفظ أثر التحكيم كجزء من أصل الاختبار: معرف الحالة، نسخة الوثائق، درجتا المقيمين وسبباهما، قرار المحكّم النهائي، حالة القابلية للتحكيم، ورابط الادعاء الذي تغيّر. إذا صُحح سلم الحكم بعد رؤية نتائج النظام، سجل النسخة الجديدة وأعد الحكم للحالات المتأثرة بالقاعدة نفسها؛ لا تغيّر حالات فاشلة وحدها. لتقليل الانحياز، عاير المقيمين على حالات تدريب خارج المحجوب، ثم لا تكشف مفتاح المحجوب للتطوير. إذا تغيرت الوثائق لاحقًا، احتفظ بالحكم التاريخي لنسخة النظام القديمة وأنشئ حكمًا جديدًا للاستخدام الحالي. بهذا لا يصبح التحديث إعادة كتابة صامتة للتاريخ. راجع أيضًا أن مراجع الحكم قابلة للوصول للمقيمين المصرح لهم وأن مقتطفاتها لا تحمل بيانات شخصية لا يحتاجها التقييم.

لإكمال قرار الإصدار، حوّل نتائج التحكيم إلى سجل أخطاء مفهوم. لا تكتفِ بدرجة0؛ اسأل هل أخطأ الاسترجاع في جلب D2، أم جلبها النموذج وتجاهل تاريخها، أم أن واجهة العرض وضعت D1 فوق D2؟ يمكن أن تعطي المخرجات الثلاثة النص الخاطئ نفسه لكن الإصلاح واختبار الانحدار يختلفان. احتفظ بمقتطف الوثيقة التي كان ينبغي استعمالها وموضع الخطأ في مسار النظام، مع عدم افتراض أنك تعرف السبب من الجواب وحده. قد يتطلب ذلك أثر استرجاع وسجل ترتيب ونسخة تعليمات. إذا لم تتوفر هذه الآثار، سجّل السبب «غير محدد» واختبر الفرضيات بدل إعلان أن النموذج «هلوس». وحين يكون الجواب المرجعي امتناعًا، قيّم هل امتنع النظام لأنه تعرف نقص السند فعلًا أم لأنه رفض كل الأسئلة؛ الانسحاب الواسع قد يخفي فشل التغطية.

اختبر صلاحية معيار الحكم قبل توسيع التصنيف. ضع أمام المقيمين حالتين متقاربتين تختلفان في واقعة واحدة حاسمة: سؤال في اليوم10 قبل نفاذ D2 وسؤال مماثل في اليوم12 بعده. إذا أعطيا الدرجة نفسها لأن النصين متشابهان، فإن معيار التاريخ غير واضح أو لم يُطبق. اطلب من المقيم أن يكتب في سبب الدرجة أي وثيقة حكمت، وتاريخها، والشرط الذي غيّر النتيجة؛ السبب «المصدر رسمي» لا يكفي. ضع كذلك جوابًا يذكر المدة الصحيحة لكنه يستشهد بوثيقة لا تدعمها: قد ينجح في صحة الرقم ويخفق في سند الإجابة. إن وعد المنتج بإظهار مصدر يمكن الوثوق به، فالإخفاق الثاني مؤثر حتى إن طابق الرقم. عند التحليل، احفظ محوري الصحة والسند مستقلين قبل اشتقاق قرار مركب، وإلا ستضيع إمكانية معرفة هل الإصلاح المطلوب في الاسترجاع أم في الصياغة.

حدد سياسة للحالات التي لا يمكن الحكم عليها دون معلومات إضافية. لا تعاقب النظام لمجرد أنه طلب تاريخًا ناقصًا إذا كان التاريخ ضروريًا، ولا تكافئه على جواب قاطع صادف الحقيقة في حالة لم تُعرف معطياتها. افصل «ملاءمة السلوك تحت نقص المعلومات» عن «صحة النتيجة الواقعية». يمكن الحكم على الأول من السؤال وحده، بينما يبقى الثاني غير معلوم إلى أن تُستكمل البيانات. في تقرير الأداء اعرض عدد هذه الحالات ونسبتها من مجموعة المرشحات وسبب نقصها؛ إذا كثر النقص في شريحة معينة فذلك خلل تصميم للعينة أو واجهة الخدمة، لا مبرر لحذف الشريحة. وإذا جاء الاستيضاح من النظام ثم أجاب بعده، عامل الدورين كمسار واحد عند اختبار قدرة الإحالة، واحفظ الرابط بينهما عند حساب ادعاءات الجواب. لا تتحول المحادثة ذات الأدوار الثلاثة إلى ثلاث فرص نجاح مستقلة.

عند مراجعة النتائج مع صاحب القرار، اسأله ما الذي سيتغير لو انتقلت خمس حالات من درجة2 إلى0 بعد تحديث الحكم المرجعي. إذا كانت عتبة قبول الشريحة تقع بين النتيجتين، يجب وقف الاعتماد وإعادة حسابها على نسخة الحكم الجديدة، لا الاكتفاء بملحق نصي. وإذا لم يتغير القرار لكن الأخطاء الخمس تخص فعلًا عالي الأثر، فقد يلزم احتواء مستقل لا يظهره المتوسط. هذه مراجعة حساسية لقرار محدد، لا محاولة لرفع الدرجة. وثّق معرفات الحالات الخمس، أصل التغيير، من أقره، والنتيجة القديمة والجديدة. كلما استخدمت محكّمًا آليًا للمساعدة، قارن أحكامه بعينة بشرية مُحكّمة تشمل الحالات الصعبة؛ لا تقبل توافقه في الحالات السهلة وحده، ولا تضعه مصدر الحقيقة النهائي دون معرفة مواضع فشله. يظل معيار الحكم المكتوب والقابل للطعن أساس التقييم، لا اسم الأداة التي أعطت الدرجة. قد تكون الحالات الخمس متشابهة ومشتقة من أصل واحد؛ في هذه الحال لا تصف التغيير بأنه خمسة إخفاقات مستقلة، بل حالة أسرة واحدة مع خمس مظاهر تشغيلية، وتابع أثرها على المستخدمين المنفصلين إن كانت سجلات إنتاج. وإذا تباعدت الحالات بين لغتين أو نوعي مستخدم، فاشرح ذلك لأن الإصلاح قد لا يعالجها جميعًا. عند إعادة الحكم احفظ إجابة النظام الأصلية دون تعديل؛ إعادة صياغة الرد ثم تحكيمه تختبر نسخة أخرى وتخفي مصدر التغير. اعرض على اللجنة جدولًا قصيرًا يبين حالة الحكم القديم والجديد، سند كل منهما، وموقعه من عتبة الشريحة والبوابة الحرجة. بهذه الطريقة يستطيع صاحب القرار رؤية ما تغير في الدليل لا مجرد سماع أن التقييم «حُدّث».