اختيار المسار بين القواعد والتوليد والاسترجاع

ليست كل مهمة تحتوي نصًا بحاجة إلى نموذج توليدي. إذا كان المطلوب جمع عمود كميات أو التحقق من وجود حقل، فلدينا عملية محددة يمكن تنفيذها بقاعدة أو دالة. وإذا كان المطلوب إعادة صياغة تعليمات طويلة لجمهور مختلف مع الحفاظ على شروطها، فقد يفيد التوليد. وإذا كان السؤال يعتمد على وثيقة داخلية تتغير، فالمشكلة تشمل العثور على الدليل الصحيح قبل الصياغة. الأخصائي لا يبدأ باسم أداة يحبها؛ يبدأ بخصائص المهمة ويقارن المسارات التي تحققها بأقل تعقيد يمكن فحصه. التعقيد هنا ليس طول الأمر فقط، بل عدد المكونات والاعتمادات والمواضع التي يمكن أن يضيع عندها المعنى.

المسار القائم على القواعد يحدد تحويلًا صريحًا من المدخل إلى المخرج. مثال ذلك رفض سجل لا يحمل معرفًا أو حساب ضريبة معطاة داخل حالة تدريبية بقيمة ثابتة معلنة. قوته أن قاعدة التنفيذ واضحة ويمكن اختبار الحالات الحدية مباشرة. ضعفه أنه لا يفهم بالضرورة تنوع التعبير الطبيعي؛ قاعدة تبحث عن كلمة «عاجل» قد تفوت رسالة تصف توقف العمل دون استعمال الكلمة. لذلك لا نقول إن القواعد أفضل دائمًا، بل نسأل هل الفروق المهمة قابلة للوصف بقواعد صغيرة مستقرة، وهل سيؤدي توسيعها إلى قائمة هشة يصعب صيانتها.

المسار التوليدي المباشر يقدم التعليمات والمدخل إلى النموذج ويطلب المخرج. يناسب تجربة محدودة عندما تكون المادة اللازمة موجودة داخل الطلب وحين نستطيع فحص الناتج. إذا كانت المهمة تلخيص ثلاث فقرات، لا نحتاج تلقائيًا إلى نظام استرجاع أو وكيل متعدد الخطوات. نحتاج أولًا إلى تعريف ما يجب حفظه وما يمكن اختصاره، ثم اختبار أمثلة تمثل النفي والأرقام والشروط. يمكن أن يكون الناتج مفيدًا مع مراجعة بشرية، لكن إضافة المراجعة ليست طريقة لإخفاء عبء تصحيح كبير. يجب تسجيل وقت التصحيح ونوعه عند مقارنة المسارات.

الاسترجاع المعزز للتوليد يجلب مادة ذات صلة من مجموعة مصادر ثم يضعها ضمن سياق الصياغة. تشرح ورقة Lewis وزملائه نموذجًا يجمع ذاكرة متعلمة مع مستودع خارجي يسترجع منه مقاطع. في تطبيقنا العملي نستخدم الفكرة العامة: فصل اختيار الدليل عن صياغة الجواب، دون الادعاء بأن كل نظام يستعمل بنية الورقة نفسها. الاسترجاع مفيد عندما تكون المعرفة خارج الطلب الأصلي أو تحتاج تحديثًا يمكن إدارته في مجموعة وثائق. لكنه يضيف أسئلة: هل الوثيقة مسموحة لهذا المستخدم؟ هل النسخة نافذة؟ هل عُثر على المقطع الذي يحمل الاستثناء؟ وهل يثبت المقطع الجواب فعلًا؟

بناء على ذلك، لا يعالج الاسترجاع مشكلة مصدر غير موثوق بمجرد جلبه. إذا احتوت المجموعة نسختين متعارضتين من إجراء، فقد يسترجع النظام كليهما أو إحداهما دون فهم أيهما النافذة. يجب وضع قاعدة لإدارة النسخ والحقوق قبل تقييم جودة الصياغة. كما أن غياب نتيجة بحث لا يثبت غياب الحكم في جميع الوثائق؛ قد يكون السؤال صيغ بكلمات لا تناسب الفهرسة. نفصل إذن بين «لم نعثر على دليل» و«لدينا دليل على عدم وجود الحكم»، ونختار جوابًا محدودًا عندما لا تسمح المهمة بالتحقق الأوسع.

قد تتطلب المهمة عدة خطوات مرتبة: استخراج عناصر، ثم التحقق من الحقول، ثم تلخيص العناصر المقبولة. يسمى ذلك هنا مسار عمل محددًا عندما يكون ترتيب الخطوات وقواعد الانتقال معلومة سلفًا. أما الوكيل الذي يقرر أي أداة يستعمل وما الخطوة التالية بحسب النتائج فيضيف مرونة ومساحة خطأ أيضًا. توصية Anthropic في مقال أنماط الوكلاء هي البدء بحل بسيط وزيادة التعقيد عند الحاجة. نستخدم هذه الفكرة لتبرير تجربة تدريجية، لا لتقرير أن منتجًا معينًا أفضل. اختيار وكيل لمجرد أن اسمه متقدم لا يثبت أن المهمة تحتاج قرارات ديناميكية.

للمفاضلة العملية، اكتب خمسة أسئلة. هل الجواب قابل للحساب أو المطابقة بقواعد؟ هل الدليل اللازم موجود في المدخل؟ هل يتغير المصدر كثيرًا؟ هل يحتاج الناتج تنوعًا لغويًا أو فهمًا لعبارات متعددة؟ وما أثر الخطأ؟ لا تجمع الإجابات في درجة سحرية واحدة دون معنى؛ استخدمها لتفسير الاختيار. مهمة استخراج رقم فاتورة من حقل منظم قد تنفذ مباشرة. استخراج الرقم من رسائل غير منتظمة قد يحتاج معالجة مختلفة. إرسال مطالبة مالية بناء على ذلك الرقم يضيف صلاحيات وفحوصًا لا تنشأ من نجاح الاستخراج وحده.

ضع خط أساس للمقارنة: طريقة حالية أو بسيطة تؤدي المهمة نفسها على البيانات نفسها. إذا قارنت نموذجًا يولد فقرة مع برنامج يعيد رقمًا، فلن تكون مقارنة الجودة ذات معنى دون تعريف مشترك للمخرج. اتفق على ما يعد مقبولًا، وعلى وحدة العمل، وعلى احتساب الاستثناءات. في تجربة صغيرة يمكن تسجيل عدد السجلات الصحيحة، وعدد السجلات التي تحتاج تعديلًا، ووقت المراجعة، والوقت الكلي. لا يستدل من قلة أخطاء الصيغة على قلة أخطاء المعنى. افصل مؤشرات الصحة والوقت والكلفة بدل إخفاء تدهور أحدها في متوسط ملتبس.

ضع أيضًا شرط توقف أو رجوع. إذا كان المصدر المطلوب غير متاح، يعود المسار إلى سؤال توضيح أو مراجعة مختصة. وإذا فشلت البنية، لا يرسل المخرج إلى خطوة تنفيذ ذات أثر. وإذا لم يثبت الحل الجديد فائدة على خط الأساس ضمن نطاق التجربة، يمكن الاحتفاظ بالطريقة الأبسط. قرار عدم استخدام نموذج توليدي في جزء من العمل قرار تخصصي سليم عندما تدعمه طبيعة المهمة. الأخصائي مسؤول عن تفسير ذلك للجهة المستفيدة بلغة النتيجة: ما الذي سننتجه، وكيف نتحقق منه، وماذا نفعل عند عدم كفاية الدليل.