من وعد الموثوقية إلى موضوع اختبار محدد

تقييم الموثوقية يبدأ بعبارة قابلة للاختبار عن خدمة محددة، لا بسؤال «هل النموذج جيد؟». النموذج الأساسي مكوّن واحد؛ قد تضيف الواجهة تعليمات، واسترجاعًا من وثائق، ومرشحات، وأدوات تنفذ أفعالًا، ومراجعة بشرية. إذا قاس الفريق إجابة النموذج منفردة ثم أطلق مساعدًا يستطيع تغيير حالة طلب، فإن الدليل لا يغطي النظام الذي سيواجهه المستخدم. اكتب موضوع الاختبار بوصفه نسخة تشغيلية ثابتة: اسم النموذج وإصداره، قالب التعليمات، فهرس الوثائق وتاريخه، صلاحيات الأدوات، قواعد الإحالة، اللغتان، أنواع المستخدمين والقنوات. سجّل ما يقع خارج الاختبار؛ فهذا قيد على الاستنتاج، لا عيب يُخفى في الهامش. يقدم إطار NIST لإدارة مخاطر الذكاء الاصطناعي غرض القياس ضمن سياق الاستخدام وإدارة المخاطر، وتؤكد وظيفة القياس توثيق مجموعات الاختبار والأدوات والأساليب. نستعمل هذا المبدأ لصوغ اختبارنا، ولا ننسب إليه عتبة نجاح عددية موحدة لكل خدمة.

خذ وعدًا مثل «يقدّم المساعد ردودًا صحيحة وآمنة في استفسارات الخدمات». افصله إلى أربع دعاوى يمكن دحضها. الأولى: الجواب يطابق مصدرًا معتمدًا وصالحًا للحالة وتاريخها. الثانية: يذكر حدود ما لا يعرفه ويحيل الطلب حين لا يجد سندًا. الثالثة: لا يكشف بيانات مستخدم آخر ولا ينفذ فعلًا غير مخوّل، حتى لو حملت وثيقة مسترجعة تعليمات خبيثة. الرابعة: يظل الأداء مقبولًا في العربية والإنجليزية والفئات النادرة التي يسمح بها النطاق. لكل دعوى وحدة ملاحظة مختلفة: إجابة، أو ادعاء داخل إجابة، أو محاولة فعل، أو جلسة مستخدم. لا تقسّم عدد الإخفاقات على مقام لا ينتمي إليها؛ 3 محاولات أدوات غير مخولة من 40 جلسة ليست نسبة أخطاء الإجابات من 200 جواب. ولا تعني «لا إخفاق في العينة» ضمانًا بعدم وقوعه، خصوصًا إذا كانت العينة صغيرة أو انتقائية.

أنشئ سلسلة ادعاء–دليل–قرار. في عمود الادعاء اكتب ما سيقال للمستخدم أو لجنة الإصدار بدقة. في عمود الدليل اكتب مهمة الاختبار، شريحة المستخدم، نسخة النظام، مراجع الحكم، العدد، المقام، وطريقة رصد الأثر. في عمود القرار اكتب قاعدة قبول مسبقة وما سيحدث عند الفشل. مثال: «الاستعلام عن حالة طلبه فقط» يحتاج سيناريوهات صاحب الطلب، وغير صاحبه، ورسالة مسترجعة تطلب تجاوز الصلاحية؛ قياس صحة صياغة الرد وحده لا يكشف فتح سجل غير مخوّل. حدد فشلًا حرجًا بالنتيجة التشغيلية، مثل عرض معرف شخص آخر أو إرسال تحديث غير مصرح به. يقف هذا الفشل عند بوابة احتواء مستقلة ولا يُوازن بارتفاع متوسط دقة الإجابات. أما أخطاء الصياغة غير المؤثرة فقد تدخل في معدل قابل للإصلاح مع حد معلن. تفاوت شدة الأثر هو سبب فصل البوابة الصلبة عن المؤشر المجمّع.

تحتاج البطاقة إلى سجل نسخ يجعل النتيجة قابلة لإعادة الفحص: لقطة تعليمات النظام، معرف مجموعة الوثائق، واجهة الاستدعاء، إعدادات التوليد المسموح بنشرها، حدود الصلاحيات، ووقت التشغيل. إذا تبدّل أي مكوّن يؤثر في المخرجات أو الأفعال فلا تنقل النتيجة القديمة تلقائيًا إلى النسخة الجديدة؛ حدّد اختبار انحدار يتناسب مع التغيير. عرّف البديل عند غياب دليل: امتناع مفسر، إحالة إلى موظف، أو طلب معلومات إضافية ضمن سياسة الخدمة. الامتناع ليس نجاحًا دائمًا؛ إذا كان السؤال مسموحًا وله سند، فإن الامتناع الزائد يضعف المنفعة. تقاس سلامة الامتناع مع تغطية الخدمة، وليس بإجمالي حالات الرفض وحده. افصل نتيجة الاختبار عن قرار الإطلاق: قد تنجح الدقة في الشريحة الشائعة مع بقاء شريحة استثناءات غير مختبرة؛ حينها يكون القرار تجربة مقيدة أو استكمال الأدلة، لا تعميم الادعاء.

كيف تدافع عن البطاقة أمام مراجع لا يعرف النظام؟ اعرض خريطة تدفق قصيرة: يدخل السؤال، تُسترجع وثيقة، يصوغ النموذج جوابًا، وقد يطلب أداة القراءة، ثم يتحقق الخادم من الصلاحية ويعيد بيانات مقيدة. عند كل حد ثقة اسأل: هل يستطيع نص أقل ثقةً تغيير تعليمات أعلى منه؟ وهل يمكن للواجهة أو النموذج إقناع الأداة بتنفيذ فعل يتجاوز إذن المستخدم؟ يشمل التقييم الأثر النهائي، لا نية النموذج وحدها. عامل إجابة المراجع البشري مرجعًا مشروحًا لا حقيقة آلية؛ وثّق الخلاف وطريقة الحسم. وعرّف شرط استمرار الصلاحية: إذا تغيرت وثائق D7 أو صلاحيات T1 أو جمهور الخدمة، تعاد موازنة شرائح الاختبار وتُراجع الأدلة المتأثرة. بذلك تصبح بطاقة التقييم أداة قرار يمكن الاعتراض على فروضها، لا شهادة عامة بالموثوقية.

لا يكفي تسمية «الصحة» و«السلامة» إذا لم يكن معلومًا ما الذي سيعده المراجع نجاحًا. في سؤال عن موعد إجراء، قد تكون الإجابة صحيحة للسنة الماضية وخاطئة اليوم؛ لذلك تتضمن بطاقة الحالة تاريخ السؤال وإصدار الوثيقة وشرط الأهلية. وقد تكون كل جملة منفردة صحيحة لكن جمعها يوحي للمستخدم بأن طلبه قُبل بالفعل؛ افصل صحة الحقائق عن ملاءمة الاستنتاج وعن ادعاء تنفيذ الفعل. صغ معيارًا مرجعيًا لكل وحدة: هل أوردت الإجابة الشرط المطلوب، وهل استندت إلى مقطع صالح، وهل تركت استثناءً يغيّر النتيجة؟ يستطيع مراجعان مستقلان تطبيق هذه الأسئلة ثم تسجيل خلافهما قبل الحسم. لا تتخلص من الخلاف بإخفاء الحالات الصعبة؛ افحص هل الغموض من الطلب، أو الوثيقة، أو قاعدة الحكم. إذا لم يكن المصدر كافيًا، قد يكون الجواب المرجعي هو الامتناع أو الإحالة، وتتحول هذه الحالات إلى شريحة اختبار معلنة بدل حذفها من المقام.

اربط كل ادعاء بملاحظة يمكن جمعها دون تجاوز الخصوصية. لقياس فتح السجل المصرح به، لا تحتاج إلى نسخ سجلات حقيقية في بنك الاختبار؛ أنشئ هويات وطلبات مصطنعة بصلاحيات معروفة، وسجّل ما طلبته الأداة وما سمح به الخادم وما عُرض للمستخدم. افحص ثلاثة مواضع مستقلة: طلب الأداة قد يكون غير مخول ثم يُرفض بأمان، أو قد يكون صحيحًا لكن الخادم يعيد حقلًا زائدًا، أو قد يكون الرد صحيحًا بينما تعرض الواجهة بيانات جلسة سابقة. هذه الحالات لا تُسجل كخطأ واحد بعنوان «هلوسة». احفظ أثرًا يكفي لإعادة بناء الفعل مع إزالة البيانات غير اللازمة وتقييد وصول المراجعين. وإذا استُخدمت قناة يختلف فيها السلوك، كالواجهة الصوتية أو الهاتف، فلا تنقل نتيجة اختبار النص إليها بلا فحص؛ قد يتغير التحقق من الهوية أو طريقة عرض الرفض. حدود النظام تحدد ما يلزم مراقبته لا ما يمكن تجاهله.

صمّم قرار الإصدار بحيث يمكن تكذيبه. مثال قاعدة مسبقة: لا يطلق مسار قراءة الحالة إذا ظهرت أي حالة كشف غير مخول في مجموعة الهجوم المعلنة؛ وبعد الإصلاح تُعاد الحالات التي فشلت وحالات مجاورة لها، ثم عينة منفصلة لم تُستخدم في الإصلاح. هذا ليس ضمانًا رياضيًا بخلو الإنتاج من الخطر، بل شرط احتواء وتحسين دليل. أما جودة إجراءات الخدمة فيمكن الحكم عليها بمعدل صحة وعتبة وشريحة لغوية محددتين بعد حساب عدم اليقين في درس لاحق. اكتب صاحب القرار وصاحب إصلاح كل عيب، والنسخة التي يشملها الحكم، وتاريخ مراجعة المصدر. إذا رفضت البوابة الصلبة مسار الأداة لكن نجح المسار النصي، فإن تعطيل الأداة قد يكون خيارًا محدودًا مشروعًا فقط بعد اختبار أن الواجهة لا توحي بأن قراءة الحالة ما زالت متاحة. بذلك يصبح التقييد قرارًا قابلًا للتحقق، لا مجرد عبارة تسويقية عن إطلاق مسؤول. وفي سجل القرار أدرج سبب اختيار العينة: هل استُخرجت من طلبات استخدام متوقعة أم من حالات خصومية مصممة عمدًا؟ لا تخلط نسب المجموعتين في معدل واحد لأن توزيع الحالات الخصومية ليس توزيع الإنتاج. وإذا تكرر السؤال الواحد بصيغ متعددة، علّمها كأسرة مترابطة حتى لا توحي مئة صياغة مشتقة بأنها مئة حالة مستقلة. أما ادعاء استقرار النظام فيحتاج تشغيلًا متكررًا لنسخة ثابتة؛ نتيجة تشغيل واحد لا تقيس تذبذب الاستجابة. تحفظ هذه القيود مع الدليل، ويعاد فتح القرار إذا تغيرت الفرضية التي بُني عليها.