بناء عينة اختبار تمثل الاستخدام والخطر

تحدد بطاقة التقييم ما سنقيسه؛ أما عينة الاختبار فتحدد مقدار ما يجوز تعميمه من النتيجة. لا تبدأ بنسخ أسئلة سهلة من سجل الاستخدام ثم تسمّيها «تمثيلية». عرّف مجتمع الحالات المسموح للنسخة خدمته: نوع المهمة، لغة الطلب، قناة التفاعل، فئة المستخدم، حالة الوثيقة، والحد الزمني. إذا كانت خدمة الإجراءات لا تفتح طلبًا ولا تقدم توصية قانونية، فلا تدخل تلك الأفعال في معدل دقة الإجراءات، لكن أدرج طلباتها في شريحة حدود النطاق لتختبر الإحالة أو الامتناع. تستعمل MLCommons في وصف AILuminate تقسيم المخاطر وفق سياق التطبيق والشخصية واللغة أو المنطقة؛ هذا يبرر السؤال عن اختلاف السياق، ولا يعني استعارة درجاته أو دعوى أن عينة هذا البرنامج معيار خارجي معتمد. سجل لكل حالة مصدرها الافتراضي أو المصطنع، نسخة الوثيقة المرجعية، المقصود من السؤال، والسلوك المتوقع قبل رؤية جواب النظام. بذلك لا يصبح تصنيف الحالة تابعًا للرد الذي نريد تبريره.

ارسم إطار السحب في مصفوفة شرائح متنافية قدر الإمكان. مثال: أسئلة إجراءات عربية معتادة، إنجليزية معتادة، استثناءات عربية، استثناءات إنجليزية. هذا التقسيم لا يكفي وحده إذا كان مستخدم الأداة مختلفًا؛ أضف محورًا مستقلًا لمحاولة فعل مصرح أو غير مصرح. لا تختزل كل التقاطعات الممكنة في أرقام ضخمة بلا غرض. ابدأ بالشرائح التي تغير القرار: لغة تتغير فيها المصادر، حالة نادرة ذات أثر كبير، أو مسار أداة يملك صلاحية. اجمع عينتين لغرضين مختلفين: عينة استخدام تمثل التوزيع المتوقع فتساعد على تقدير معدل تشغيلي ضمن حدوده، وعينة تحدٍّ تزيد فيها الحالات النادرة عمدًا كي تجد الفشل. لا تجمع نسبة نجاح العينتين مباشرة؛ اختيار الحالات مختلف. إذا أردت معدلًا موزونًا من عينة مقسمة، استخدم أوزان مجتمع الاستخدام التي جرى التحقق منها، وأبق نتيجة الشريحة الحرجة ظاهرة بذاتها.

لنفترض توزيعًا تخطيطيًا مصطنعًا: 60% إجراءات عربية معتادة، 20% إنجليزية معتادة، 10% استثناءات عربية، و10% استثناءات إنجليزية. اختبر الفريق 40 حالة في كل شريحة لكي يرى الاستثناءات، ونجح في 38 و36 و30 و32 على الترتيب. المتوسط غير الموزون هو 136/160=85%؛ لا يصف استخدامًا يغلب عليه النوع العربي المعتاد. المعدل الموزون للتوزيع المفترض هو 0.60×95% +0.20×90% +0.10×75% +0.10×80%=90.5%. لا تجعل 90.5% تصريحًا بالإطلاق: افتراض توزيع الاستخدام قد يكون خاطئًا، والشريحة العربية الاستثنائية 30/40=75%، والنتيجة لا تقيس حدود الصلاحيات أو أثر الخطأ. اعرض البسط والمقام لكل شريحة، وكيف حصلت على الوزن وتاريخ صلاحيته. إذا لم يكن توزيع الإنتاج معروفًا، بلّغ مجموعة معدلات الشرائح بلا تقدير موزون زائف، أو ضع سيناريوهات أوزان معلنة تبين تغير القرار.

قبل جمع الحالات، ضع سياسة منع التسرب. «مستقل» لا تعني أن رقم السجل مختلف إذا كانت عشرة صيغ لسؤال واحد مأخوذة من الوثيقة نفسها وبالإجابة نفسها. عرّف أسرة حالة تضم الصيغ القريبة والوثائق المشتركة والسلسلة الحوارية؛ اجعل الأسرة كلها في التطوير أو في الاختبار المحجوب. لا يستخدم الفريق المحجوب لاختيار صيغة التعليمات أو عتبة النجاح مرارًا؛ كل محاولة ضبط على نتيجته تحول المحجوب إلى تطوير. يمكن تخصيص مجموعة تحقق أثناء البناء ومجموعة نهائية مجمدة لا تُفتح إلا عند القرار. احتفظ بمعرفات الأسرة وبصمة المحتوى وسبب الاستبعاد كي يمكن تدقيق الحدود دون كشف نصوص حساسة. إذا تغيرت وثيقة المصدر بعد بناء مرجع الحكم، فلا تعتبر السؤال خاطئًا أو صحيحًا آليًا؛ راجع تاريخ النفاذ وما كان مطلوبًا من النسخة قيد القياس، ثم أعد الحكم أو انقل الحالة إلى مجموعة انحدار تاريخية موضحة.

اجعل لكل حالة سجلًا قابلًا للتتبع: معرف الحالة والأسرة، الشريحة، تاريخ الإنشاء، نسخة النظام، مرجع الحكم، نوع الضرر إن أخفقت، وما إذا كانت ضمن التحدي أو الاستخدام. إذا تغيرت النسخة، حافظ على الحالات الثابتة للمقارنة المزدوجة وأضف حالات تغطي الأثر الجديد، بدل استبدال الجميع فتضيع مقارنة الإصدارات. لا تترك مجموعة التحدي سرية عن مسؤول السلامة على نحو يمنع تحليل خطأ حقيقي، لكن قيد الاطلاع على نصها أثناء التطوير كي لا يحفظه الفريق أو يضبط عليه. كل شريحة صغيرة تحمل عدم يقين أكبر من معدلها الظاهر؛ سيعالج درس القياس ذلك حسابيًا. هنا القرار المنهجي هو إظهار العدد والمقام والاختيار، وعدم مساواة «لم نر فشلًا» بـ«لا يوجد فشل».

حين تكون الطلبات متعددة الأدوار أو تتضمن وثائق متغيرة، حدد وحدة السحب قبل تسجيل النتيجة. هل نعد المحادثة الواحدة حالة حتى لو تضمنت ثلاث إجابات، أم نعد كل ادعاء؟ إذا كان الإخفاق المقصود كشف بيانات في أي نقطة، فالمحادثة أو محاولة الفعل وحدة مناسبة للبوابة، بينما يحتاج قياس صحة المعلومة وحدات ادعاء مع رابط إلى المحادثة الأصلية. الإبقاء على هذا الرابط يمنع التعامل مع عشر جمل من جلسة واحدة على أنها عشر ملاحظات مستقلة من مستخدمين مختلفين. قد تتعمد عينة التحدي تغيير لهجة الطلب أو ترتيب الوثائق لاختبار المتانة؛ سجل هذه التحويرات كأسرة واحدة حتى لا يزيد العدد بلا تنوع حقيقي. وإذا كان الطلب خارج النطاق، فالمخرج المتوقع هو سلوك الحدود لا «إجابة كاملة»؛ احتسبه في شريحة الحدود، لا في معدل صحة الطلبات المشمولة.

توزيع حجم العينة قرار هدفه الدليل لا المظهر. إن سحبت 160 حالة تناسب 60/20/10/10، فلن تحصل إلا على16 حالة لكل شريحة استثناء؛ ربما يكفي ذلك لاكتشاف خطأ فادح لكنه ضعيف لتقدير معدلها. وإذا جعلت الشرائح الأربع متساوية كما في المثال، تصبح المقارنة داخل الشريحة أوضح لكن متوسط الاختبار غير الموزون لا يعكس المزيج المفترض. اكتب قبل الاختبار أي سؤال سيجيب عنه كل تصميم. عينات السلامة المقصودة للكشف عن حالات فشل حرجة لا ينبغي تقديم نسبتها كتواتر متوقع في الإنتاج. قد تحتاج شريحة فعل غير مخول إلى حالات صيغت خصوميًا بأسماء أدوار وأذونات مختلفة، ثم اختبارات إضافية عمياء تقيس احتمال تكرار العيب. لا تختار العدد لأنه يعطي نسبة مستديرة؛ سمِّ حدّ الدقة المطلوب أو قدرة الكشف التقريبية، ثم اعترف إذا كانت الموارد لا تسمح به. وعندما تعيد اختبار الحالة بعد إصلاحها، لا تضف التشغيلين إلى مقام اختبار مستقل واحد؛ الأول كشف العيب والثاني يختبر الإصلاح.

بناء المرجع نفسه قد يسرب المعلومات. إذا شاهد المحكّم جواب النموذج قبل كتابة الحكم فقد ينساق إلى لغته الواثقة، خصوصًا في الأسئلة التي يجتمع فيها مصدران متعارضان. قدم له السؤال والمستندات بتاريخها ونطاقها أولًا، واطلب منه أن يكتب عناصر الجواب المقبول والاستثناءات؛ ثم اعرض جواب النظام للمقارنة. في الحالة التي يختلف فيها محكّمان، احفظ سبب الخلاف: غموض صياغة، نقص وثيقة، أم اختلاف تفسير معيار النجاح. يحسم محكّم ثالث أو خبير المجال الحالات التي تؤثر في قرار الإصدار، وقد تظل حالة غير قابلة للتحكيم فتُستبعد مع سبب معلن. لا تجعل «اتفاق المحكّمين» رقمًا عامًّا إذا كانت شريحة نادرة وحدها موضع الخلاف؛ اعرض الاتفاق حسب الشريحة ونوع الخطأ. وإذا كانت الحقيقة تتبدل بمرور الوقت، ضع تاريخًا للجواب المرجعي حتى لا يعاقب اختبار اليوم إجابة كانت صحيحة في النسخة التاريخية أو يكافئ جوابًا تجاوزه المصدر.

احتفظ بمسار مراجعة واضح عندما تعثر على تلوث: سجّل عدد الحالات المتأثرة وأسرها وسبب القرب من التطوير، ثم علّق النتيجة التي اعتمدت عليها؛ لا تحذف الصفوف خفية مع بقاء التقرير السابق. أعد تكوين المحجوب من حالات مستقلة وراجع توازن الشرائح، وثبّت النسخة قبل فتح الإجابات. إن كان القرار سابقًا على اكتشاف التسرب، قيّم هل كان يمكن أن يتغير عند حذف الأسر الملوثة واطلب إعادة قرار إن كان الأثر جوهريًا. مثال: إذا كان نجاح ست صيغ متسربة هو سبب اجتياز شريحة لا تتجاوز حدها إلا بفارق سؤالين، فلا يصلح قول «نسبة التسرب صغيرة»؛ قد يقلب القرار. أما إذا بقيت نتيجة شريحة أخرى ثابتة على حالات مستقلة، فلا داعي لرميها أو إعادة تأليفها. بهذه الخطوات تصبح العينة أصلًا قابلًا للصيانة له سلسلة نسب، لا ملف أسئلة يزيد رقمه كلما أعيدت صياغة الحالة. افصل كذلك تسرب نص السؤال عن تسرب مرجع الحكم: قد يكون نص السؤال جديدًا لكن الإجابة المثالية أدرجت في تعليمات التطوير أو وثيقة اختبار استُخدمت لضبط النظام. عندئذ لا يحمي اختلاف الصياغة استقلال النتيجة. سجّل من اطلع على المحجوب ومتى، وما التغيير الذي طرأ على التعليمات بعد ذلك. وإذا اضطر فريق الإصلاح إلى رؤية حالة فاشلة، انقلها إلى مجموعة الانحدار المكشوفة وابنِ بديلًا محجوبًا من أسرة مختلفة. لا تسمّ إعادة تشغيل الحالة المرئية اختبارًا مستقلًا، وإن كانت مفيدة لإثبات أن الإصلاح عالج سبب الفشل المحدد.