كيف تولّد نماذج اللغة النص: الرموز والسياق والاحتمالات

من النص إلى وحدات يعالجها النموذج

نموذج اللغة لا يتعامل مع الصفحة بالطريقة التي يقرأها الإنسان كلمةً كلمة. تُحوَّل المدخلات إلى وحدات رمزية تسمى عادة tokens. الرمز قد يكون كلمة قصيرة، جزءًا من كلمة، علامة ترقيم، رقمًا، أو وحدة أخرى يحددها نظام الترميز. لذلك لا تساوي «100 كلمة» عددًا ثابتًا من الرموز، وقد تختلف طريقة تجزئة النص بين النماذج واللغات. هذه الفكرة مهمة عمليًا لأن السياق المتاح للنموذج يقاس عادة بالرموز، ولأن كل ما يحتاجه النموذج لإتمام المهمة يجب أن يدخل ضمن السياق الذي يستطيع معالجته في تلك اللحظة.

السياق هو المادة التي يستطيع النموذج الاستناد إليها أثناء التوليد في طلب معين: تعليمات المستخدم، الأجزاء السابقة من المحادثة التي يمررها التطبيق، أمثلة، نصوص مسترجعة، أو نتائج أدوات. «نافذة السياق» تحدد مقدار المعلومات التي يمكن أن تُعالج في جولة واحدة وفق المنتج والنموذج. وجود معلومة في ملف خارجي لا يعني أن النموذج يراها؛ يجب أن يمررها التطبيق أو يسترجع الجزء المناسب أو يستخدم أداة تصل إليها. كذلك قد تؤثر المعلومات المتأخرة أو المتعارضة داخل السياق في النتيجة، لذلك تنظيم السياق جزء من جودة المهمة.

التوليد الاحتمالي: اختيار استمرار مناسب لا استرجاع جواب ثابت

في نموذج لغوي توليدي شائع، تُبنى الاستجابة تدريجيًا باختيار رمز تالٍ اعتمادًا على الرموز السابقة والسياق. داخليًا يقدّر النموذج توزيعًا احتماليًا على بدائل ممكنة؛ ثم تستخدم عملية التوليد هذه التقديرات لاختيار استمرار. هذا يفسر لماذا يمكن أن توجد أكثر من صياغة معقولة للسؤال نفسه، ولماذا لا ينبغي أن نتوقع تطابقًا حرفيًا في كل تشغيل. التوزيع الاحتمالي لا يعني أن النموذج «يعرف» احتمال صحة كل جملة؛ هو يقدّر ملاءمة استمرار لغوي بالنسبة لما سبقه. لذلك قد يكون استمرار شديد الطلاقة ضعيفًا من حيث الحقيقة.

اللا حتمية تعني أن التشغيلات قد تختلف، ودرجة الاختلاف تعتمد على النموذج وطريقة فك الترميز وإعدادات التطبيق. لهذا السبب لا ينبغي بناء عملية مهمة على أن «الجواب سيأتي بنفس الصياغة دائمًا». إذا كان النظام يحتاج بنية ثابتة، نحدد شكل المخرج ونختبره ونستخدم قيودًا أو تحققًا آليًا عندما تدعمها البيئة. وإذا كانت المهمة تحتاج حقيقة واحدة، نربطها بمصدر ونتحقق من محتوى الإجابة بدل مقارنة النص بحرفية جواب سابق.

لماذا يذكر الجميع بنية Transformer؟

قدمت ورقة Attention Is All You Need في 2017 بنية Transformer لمعالجة التسلسلات اعتمادًا أساسًا على آليات الانتباه، بدل جعل الشبكات المتكررة أو الالتفافية هي العمود الفقري للتسلسل كما كان شائعًا في نماذج سابقة. الانتباه يساعد طبقات النموذج على حساب علاقات بين مواضع مختلفة في التسلسل. بالنسبة للمتعلم هنا، الأهمية ليست إعادة بناء المعادلات، بل فهم أن نماذج اللغة الحديثة تستفيد من تمثيلات تعتمد على العلاقات داخل السياق، وليست قاعدة بيانات تسترجع جملة محفوظة عند كل سؤال. التفاصيل المعمارية تختلف بين النماذج الحديثة ولا نعامل نسخة ورقة 2017 بوصفها وصفًا كاملًا لكل نظام حالي.