القدرات والقيود: عدم الحتمية والهلوسة وحدود المعرفة والسياق

قدرة واسعة لا تعني موثوقية متساوية في كل مهمة

يمكن لنماذج اللغة التوليدية تنفيذ طيف واسع من المهام النصية: الصياغة، إعادة الكتابة، التلخيص، التصنيف، الاستخراج، المقارنة، توليد أمثلة، والمساعدة في الشيفرة. لكن «يستطيع إنتاج جواب» ليست هي «يمكن الاعتماد على الجواب». تتغير الموثوقية بحسب وضوح المهمة، جودة المصادر، تشابه الحالة مع ما يستطيع النموذج التعامل معه، وتوافر التحقق. لذلك ينبغي تقييم القدرة والموثوقية كلتيهما. قد يكون النموذج قويًا في إنتاج مسودة أولى وضعيفًا في إصدار حكم نهائي يحتاج حقائق خارج السياق.

الهلوسة أو الاختلاق: عندما تبدو الجملة صحيحة ولا تكون كذلك

يستخدم NIST مصطلح confabulation لوصف إنتاج محتوى خاطئ أو غير صحيح بصياغة واثقة قد تضلل المستخدم. في الاستخدام اليومي تسمى الظاهرة غالبًا «هلوسة». يمكن أن تكون في اسم، تاريخ، رقم، اقتباس، رابط، تفسير سبب، أو ربط بين حقائق. الخطر هو أن السلاسة تجعل الخطأ أقل وضوحًا. لذلك لا نعالج المشكلة بطلب «كن دقيقًا» فقط؛ نحتاج مصدرًا يمكن فحصه، أو أداة تسترجع الدليل، أو اختبارًا مستقلًا للمعلومة، بحسب المهمة.

هناك حدود أخرى غير الاختلاق. قد لا يملك النموذج معلومات حديثة أو خاصة بالمؤسسة ما لم تُمرر في السياق أو عبر أداة. وقد تكون المدخلات نفسها ناقصة أو متحيزة أو متعارضة. وقد يفشل النموذج في اتباع قيد طويل أو يسيء فهم ضمير أو جدول. لذلك يجب أن نسأل قبل التوليد: ما الذي يعرفه النظام من هذا الطلب فعلًا؟ وما الذي لا يعرفه؟ وما المصدر الذي سنعتبره مرجعًا عند النزاع؟ هذه الأسئلة تمنع تحويل فراغ المعلومات إلى ادعاء مولد.

السياق قد يقيّد الإجابة لكنه لا يضمن استخدامها على النحو الصحيح. إذا زودت النموذج بثلاث فقرات إحداها قديمة، فقد يدمج بينها دون أن يعرف أن واحدة ملغاة. وإذا كتبت «استخدم أحدث سياسة» من دون تقديم تاريخ أو هوية النسخة، فقد يفتقر الطلب إلى شرط يمكن تنفيذه. الجودة هنا تتطلب هندسة للمعلومات نفسها: تسمية المصادر، تحديد النسخة، إزالة التكرار المتعارض عندما يمكن، وإجبار المخرج على إظهار الاستشهاد أو المقطع الذي استند إليه عندما تكون قابلية التتبع مهمة.