صياغة القرار وبروتوكول التجربة · الدرس 2

تحديد الأثر المقصود

7 دقائق قراءة

أهداف الدرس

  • حدد سكان التجربة وتدخلها ومقارنتها ونتيجتها وزمنها ومقياس الفرق، مع حفظ مقام التخصيص.
أدوات القراءة

السؤال «هل نجح المسار الجديد؟» يحتمل إجابات متعارضة لأن كلمة النجاح لا تسمي السكان أو النتيجة أو الزمن. صغ الأثر المقصود قبل التنفيذ في خمس خانات: من يدخل الحساب، ما سياسة التدخل، ما السياسة المقابلة، ما النتيجة ومتى تُقاس، وبأي مقياس يُلخص الفرق. مثال: بين كل المسجلين المؤهلين في أسبوعين، ما فرق نسبة إكمال الدرس الأول خلال سبعة أيام بين تخصيص رسالة تهيئة شخصية وتخصيص رسالة البدء الحالية؟ بهذه الصياغة يفهم الفريق أن المقام هو جميع المخصصين، وأن النتيجة إكمال خلال نافذة محددة، وأن المقياس فرق نقطي بين نسبتين. لا يكفي أن تكتب «زيادة المشاركة»؛ يمكن أن تعني فتح البريد أو بدء الدرس أو إكماله، ولكل منها قرار مختلف.

فرق النسبتين بالنقاط المئوية يساوي نسبة النتيجة في ذراع التدخل ناقص نسبتها في ذراع المقارنة. إذا بلغت النسبتان 72% و66% فالفرق +6 نقاط، أما الزيادة النسبية فهي 6/66≈9.1% من معدل المقارنة. كلاهما حساب صحيح، لكن تبديلهما في تقرير القرار يضلل من وضع عتبة قدرها ست نقاط. اذكر اتجاه المنفعة: إذا كانت النتيجة غيابًا أو خطأً، فالانخفاض مرغوب ويجب أن تتفق إشارة الفرق مع القرار. وثبّت طريقة العدّ؛ «عدد الإكمالات» يفضّل المجموعة الأكبر حتى لو كان معدلها أقل. وعندما تتكرر الأحداث للشخص نفسه، لا تجمع كل المحاولات في مقام أشخاص دون أن تحدد وحدة القياس.

التخصيص والعرض والاستعمال أحداث مختلفة. قد يخصص شخص للرسالة الشخصية لكن لا تصل إليه، وقد يرى موظف نسخة الرسالة الخاصة بذراع آخر. سؤال السياسة الأول هو ماذا يحدث عند تخصيص العرض لكل مؤهل، مع بقاء غير المستلمين في ذراعهم الأصلي. يعرف هذا غالبًا بتحليل نية المعالجة؛ فائدته أنه يحافظ على المقارنة التي أنشأها التخصيص. إذا حسبت النتيجة بين فاتحي الرسالة فقط، فقد اخترت أشخاصًا أكثر اهتمامًا بعد التخصيص، ولم تعد تقيس أثر سياسة العرض. يمكن فحص أثر الاستلام أو الالتزام بسؤال وتحليل إضافيين وبافتراضات إضافية؛ لا تنسب إليهما تلقائيًا تقدير التخصيص. سجل عدد المخصصين، وعدد من وصلتهم الرسالة، ومن فتحوها، ومن أكملوا الدرس، بحيث تستطيع تفسير موضع فقد الأثر دون استبدال المخرج الأساسي.

احسم الأحداث التي تقع أثناء التجربة. ماذا لو انسحب مسجل أو غير بريده أو أكمل درسًا آخر بدل الأول؟ قد تحدد البروتوكول أن كل مسجل مؤهل يبقى في المقام وأن عدم ظهور إكمال خلال سبعة أيام يُحسب عدم إكمال، مع فصل غياب القياس عن عدم إكمال حقيقي. هذا لا يعني تخمين نتيجة شخص فقد سجله؛ فقد القياس يحتاج فحصًا وحساسية منفصلين. اكتب الاستبعادات المسموحة قبل التخصيص، مثل حساب تجريبي أو مكرر محدد بقاعدة معلنة، ولا تستبعد بعده «المشتركين غير النشطين» لأن ذلك قد يعتمد على أثر التدخل نفسه. عند عرض النتيجة، سمّ من تشملهم الصياغة ولا تعممها على من لم يستوفوا شروط الأهلية أو على فترة تشغيل مختلفة.

افصل أيضًا بين أهلية الدخول والتحليل اللاحق: إذا تبيّن قبل التخصيص أن بعض الحسابات آلية أو اختبارية، يمكن تطبيق قاعدة استبعاد معلنة على الذراعين. أما إذا كُشف بعد التخصيص أن إرسال الرسالة فشل لعنوان غير صالح، فحذفه من ذراع التدخل وحده يختار مجموعة مختلفة عن التي وُزّعت. سجّل الفشل في جدول التدفق، واحفظ المقارنة الأساسية كما خُطط لها، ثم افحص حساسية النتيجة لتفسيرات معقولة لفقد السجل. لا تسمِّ ذلك «تنظيفًا» دون بيان أثره على السؤال؛ تغيير المقام قد يبدّل الحكم حتى لو بقي عدد الإكمالات نفسه.

الأثر المقصود ليس تقديرًا إحصائيًا بعد؛ هو عقد السؤال. اختيار فرق النسب لا يضمن قدرة عينة صغيرة على تمييز الأثر من التذبذب. وتخصيص رسالة على مستوى الشخص لا يضمن أن الأسر المشتركة البريد لا تتأثر بالتداخل. هناك فرق بين تحديد ما تريد معرفته وإثبات أن التصميم والبيانات يستطيعان معرفته. في مراجعة البروتوكول، اقرأ الخانات الخمس بصوت سؤال واحد، ثم اسأل: هل أستطيع تنفيذ كل شرط وملاحظة النتيجة على جميع الوحدات بالمعيار نفسه؟ إذا كانت الإجابة لا، أصلح الأهلية أو وحدة التخصيص أو التسجيل قبل الإطلاق بدل تجميل العبارة بعد جمع البيانات.

خلاصة الدرس

الأثر المقصود سؤال محدد سلفًا بخمس خانات؛ لا يحل فتح الرسالة أو تسلمها محل تخصيصها في التحليل الأساسي.