حدود التوليد والسياق والمعرفة

حين يعرض النموذج إجابة متماسكة، قد ننسى أن التماسك ليس فحصًا للمصدر. النموذج اللغوي يتعامل مع وحدات نصية تسمى الرموز، ويتعلم علاقات تساعده على إنتاج تسلسل مناسب للسياق. الرمز ليس كلمة دائمًا؛ قد يقابل جزءًا من كلمة أو علامة أو وحدة أخرى بحسب أداة الترميز. لهذا لا يصح تحويل عدد الكلمات العربية والإنجليزية إلى عدد رموز بمعامل ثابت يصلح لكل نموذج. عند تصميم مهمة طويلة، استخدم عداد النموذج أو معلومات التشغيل المتاحة بدل تقدير السعة من عدد الصفحات وحده. لا يحتاج الأخصائي إلى حفظ خوارزمية الترميز ليعرف أثرها على حدود المدخل.

افصل ثلاثة أشياء نخلط بينها بسهولة: ما تعلمه النموذج خلال التدريب، وما أُرسل إليه في الطلب الحالي، وما جلبته أداة خارجية أثناء العمل. الأول لا يقدم لنا سجلًا مضمونًا لكل حقيقة ولا يثبت حداثتها. الثاني نستطيع فحصه إذا احتفظنا بنسخة المدخل المسموح تسجيلها. الثالث يحتاج فحص نتيجة الأداة ومصدرها وتاريخها. كتابة اسم ملف في الأمر لا تعني أن محتواه أُرسل، وذكر رابط لا يثبت أن النظام فتحه. إذا كانت الإجابة تتوقف على جدول الأسعار الجديد، فابدأ بإثبات وصول الجدول الصحيح إلى الخطوة التي تولد الإجابة.

نافذة السياق هي السعة التي يعالج ضمنها النظام النص المتاح لطلبه وفق تصميمه. تختلف طريقة حسابها وحدودها بين الأنظمة، وقد تدخل فيها التعليمات وسجل المحادثة ومخرجات الأدوات والنص المراد تلخيصه. لذلك لا نضع رقم سعة عامًّا في بطاقة المهمة. نضع بدلًا منه شرطًا تشغيليًا: قياس حجم المدخل الفعلي وحجز مساحة مناسبة للمخرج حسب وثائق النظام المستخدم. إذا تجاوز المدخل الحد، فقد يرفضه التطبيق أو يقتطعه أو يلخص أجزاء منه؛ لا نفترض أي سلوك دون قراءة إعداد التطبيق وسجله. وجود آخر صفحة في الملف الأصلي لا يثبت وجودها في النص الذي رآه النموذج.

حتى وصول النص كاملًا لا يكفي لإثبات استخدامه كله. بينت دراسة «Lost in the Middle» في مهام ونماذج محددة أن موضع المعلومة قد يؤثر في الأداء. لا نحول نتيجتها إلى نسبة فشل عامة لكل نموذج حالي، بل نستعملها سببًا لاختبار مواضع الأدلة في مهمتنا. ضع معلومة حاسمة في أول وثيقة تجريبية ووسطها وآخرها، مع إبقاء بقية الشروط متقاربة، ثم افحص إن كان الناتج يحفظها. إذا فشل في حالة واحدة، يسجل ذلك كعيب في المهمة المفحوصة؛ وإذا نجح، لا يصبح النجاح ضمانًا لكل طول أو تنسيق أو لغة.

التوليد غير المدعوم قد يأخذ شكل اسم منتج غير موجود، أو رقم دقيق ظاهريًا، أو استنتاج سبب من مجرد تزامن حدثين. يستخدم ملف NIST الخاص بالذكاء الاصطناعي التوليدي مفهوم الاختلاق لوصف محتوى خاطئ يقدم بثقة. المقصود عمليًا ألا نحكم على الصدق من النبرة. طلب «كن متأكدًا» لا يخلق دليلًا. وطلب نسبة ثقة لا يجعل الرقم معايرًا إحصائيًا؛ لا نعرف أنه يطابق تكرار الصحة إلا من تقييم مناسب. يمكن طلب تصريح بالمعلومة غير المتاحة، لكن علينا اختبار التزام النظام بذلك بدل اعتبار الطلب ضمانًا.

عند ظهور خطأ، ابدأ بسؤال ضيق: هل كانت المعلومة اللازمة متاحة في المدخل الفعلي؟ إن لم تكن متاحة، فالمشكلة في جمع المدخل أو تحديد نطاق المهمة. إن كانت موجودة في الملف ولم تصل إلى الطلب، فافحص الاستخراج والاقتطاع. إن وصلت ولم يستخدمها الناتج، فافحص التعليمات وموضعها وتعارضها والتعامل مع السياق. وإن استُخدمت لكن الحساب خاطئ، فافصل خطوة الحساب واستعن بأداة حساب موثوقة عند توفرها. تغيير الأمر كله دفعة واحدة يخفي السبب؛ الاختبار المفيد يغير عاملًا واضحًا ويقارن أثره على حالة سبق تحديد جوابها.

التكرار له وظيفتان مختلفتان. إعادة الطلب دون تغيير قد تكشف أن الناتج غير مستقر، لكنها لا تضيف معلومة غائبة. أما إعادة الطلب بعد إصلاح مدخل ناقص فتختبر إصلاحًا محددًا. سجل عدد المحاولات ولا تعرض أفضل نتيجة وحدها كأنها النتيجة المعتادة. إذا أعطت ثلاث محاولات تاريخين مختلفين، راجع الدليل الأصلي بدل التصويت بين الأجوبة؛ تكرار التاريخ نفسه لا يجعله صحيحًا إن لم يسنده المصدر. عندما تسمح الأداة بإعدادات تؤثر في تنوع التوليد، سجّلها، لكن لا تفترض أن تقليل التنوع يمنع الخطأ الدلالي أو يمنح تطابقًا حتميًا في كل بيئة.

هناك أيضًا فرق بين ذاكرة المحادثة وحفظ المشروع. قد يرى المستخدم رسائل قديمة في الواجهة بينما لا تكون جميعها حاضرة بالنص نفسه في طلب جديد. لذلك تُرسل المتطلبات الحاسمة من مصدر حالة واضح، ولا تعتمد مهمة طويلة على تذكر اسم أو استثناء قيل قبل ساعات. بالنسبة إلى الأخصائي، سجل الحالة يتضمن إصدار المدخل والقاعدة المطلوبة وما اكتمل وما بقي معلقًا. هذا السجل يخدم الاستئناف والمراجعة، ولا يستلزم حفظ محتوى حساس كامل. اختر أقل قدر من البيانات يسمح بتشخيص الخطأ ضمن سياسة المؤسسة.

في الصور والصوت تظهر حدود مماثلة مع اختلاف قناة الإدخال. قد تنقل صورة جدول أرقامًا يصعب قراءتها، وقد يحذف تفريغ صوتي كلمة نفي. لا نثبت صحة الرقم من سلاسة الوصف الناتج. المبدأ القابل للنقل هو فحص التحويل الذي سبق التوليد ثم فحص الاستنتاج. يبقى التدريب هنا نصيًا: نستخدم نسخًا واضحة من المدخلات ونصرح بما لا نختبره. إذا احتاج تطبيق فعلي إلى قراءة صور أو صوت، تلزمه حالات اختبار مناسبة لتلك الوسائط؛ لا يكفي نجاح أمثلة النص لنقل ادعاء الدقة إليها.