تأطير القرار والبحث الموثق · الدرس 4

فرز الدراسات وأثر الاستبعاد

8 دقائق قراءة

أهداف الدرس

  • فرز الدراسات وأثر الاستبعاد
أدوات القراءة

بعد البحث عن أثر الدعم التعليمي عن بعد، أمامك 26 نصًا كاملًا. قد يبدو الفرز عملية حذف سريعة، لكنه قرار يحدد أي دليل سيصل إلى التركيب وأي نتيجة ستغيب عنه. معيار الأهلية يجب أن يأتي من سؤال القرار لا من اتجاه النتيجة. في هذه الحالة نريد متعلمين بالغين في برامج مهنية، ودعمًا تعليميًا عن بعد يقارن بخدمة معتادة أو بديل محدد، ونتيجة إكمال مهمة خلال فصل واحد. تقرير عن رضا المدرسين وحده قد يكون مفيدًا للتنفيذ لكنه لا يجيب عن أثر الإكمال. ودراسة عن طلاب مدارس أطفال لا تنتقل تلقائيًا إلى الجمهور المقصود. اكتب قواعد الإدراج والاستبعاد بصورة يستطيع مراجع آخر تطبيقها على دراسة لا تعرف نتيجتها مسبقًا.

التمييز بين «السجل» و«التقرير» و«الدراسة» يمنع وزنًا زائفًا. السجل هو نتيجة مفهرسة في قاعدة أو سجل؛ قد تكون عدة سجلات للورقة نفسها. التقرير وثيقة تصف دراسة، وقد تنشر دراسة واحدة تقريرًا أوليًا وآخر للمتابعة. الدراسة مجموعة المشاركين والتصميم نفسها. إذا حسبت س1 وس2 دراستين، ستبدو قاعدة الأدلة أكبر وقد تتكرر العينة في الجمع. وفي المقابل لا ترم س2 لأنه مكرر جزئيًا؛ قد يحمل نتيجة إتاحة لم تظهر في التقرير الأول. أنشئ جدول ربط: معرف الدراسة، معرفات التقارير، السكان والتدخل، النتائج والأزمنة، وحالة الوصول. في هذا المثال س1 وس2 يتبعان الدراسة د1، وس5 يتبع د2. عدد الوثائق المقبولة لسؤال أو أكثر ثلاثة، وعدد الدراسات المستقلة اثنتان.

في فرز العنوان والملخص، كن أوسع إذا لم تكف المعلومات للحكم، ثم اطلب النص الكامل. في فحص النص الكامل يجب أن يكون لكل مستبعد سبب رئيسي واحد محدد يمكن مراجعته، مع حفظ الأسباب الثانوية إن أثرت على سؤال آخر. لا تكتب «غير مناسب» وحدها؛ اكتب «سكان أطفال لا متعلمون بالغون» أو «لا مقارنة ولا قياس للإكمال». رتّب الأسباب حسب قاعدة ثابتة لتمنع شخصين من تسجيل السبب نفسه بعبارتين مختلفتين. إذا كان النص غير متاح، اجعله حالة وصول لا حكمًا علميًا. وإذا حصلت على نص مصحح أو ملحق لاحقًا، حدّث حالة السجل مع التاريخ والنسخة؛ لا تمح القرار القديم حتى يستطيع المراجع فهم كيف تغير العدد.

الحل المرجعي للستة سجلات يختبر اتساق المعيار أيضًا. لو كانت س5 تستخدم خمسة أسابيع بدل فصل كامل، هل تستبعدها؟ الجواب يتوقف على الصياغة المسجلة: إن كان «خلال فصل واحد» سقف متابعة لا مدة ثابتة، قد تدخل مع توضيح اختلاف الزمن؛ وإن اشترطت القاعدة قياسًا في نهاية الفصل تحديدًا، لا تدخل نتيجة الخمسة أسابيع في المقارنة الرئيسة، وربما تُستخدم كسياق قصير المدى. لا تغير تفسير القاعدة بعد رؤية أن س5 سلبية. سجل قرار التفسير وطبقه على كل دراسة مماثلة. هذا مثال على كيف يمكن للغموض اللغوي في معيار الأهلية أن يصنع انحيازًا حتى لو كان فرز كل صف يبدو معقولًا منفردًا.

عند اختلاف مراجعَين حول س6، لا تحسم بالخلاف الأكثر ثقة في صوته. اكتب السؤال الدقيق: هل يوجد مقارن؟ هل عينة س6 مستقلة عن س1؟ هل النتيجة إكمال المهمة أم مجرد تسجيل الدخول؟ اطلب الملحق أو تواصل مع المؤلف إن كانت المهلة تسمح، وسجل ما طلبته وتاريخ الرد. إذا انتهت المهلة دون جواب، أبقها غير محسومة وأظهر سيناريوهين: إن كانت مؤهلة، هل ستغير اتجاه النتيجة؟ وإن لم تكن، ما الذي يبقى؟ لا تدخل تقديرًا مجهول المقام في متوسط حسابي. لكن لا تزيل السجل من مخطط الانتقاء كي يبدو المسار نظيفًا. الإفصاح عن عدم اليقين جزء من جودة الفرز.

اجعل جدول القرار ذا أعمدة صريحة: معرف السجل، مصدره، معرف التقرير، معرف الدراسة المحتمل، السكان، التدخل والمقارن، النتيجة والزمن، حكم الأهلية، سبب الحكم، والمراجع الذي اتخذه. إذا كان عمود الدراسة فارغًا عند س6 فلا تملأه بتخمين. واكتب نوع السؤال الذي تخدمه الوثيقة: أثر الإكمال، إتاحة الاستخدام، أو كلفة التنفيذ. يمكن أن يدخل تقرير في سؤال الإتاحة ويخرج من سؤال الأثر؛ كلمة «مستبعد» دون ذكر السؤال قد تضلل قارئ الملف إلى أن التقرير بلا قيمة مطلقًا. في صف س2 مثلًا الحكم «تقرير إضافي للدراسة د1، يدخل سؤال الإتاحة، لا يعد دراسة أثر مستقلة». هذا أدق من «مكرر» الذي قد يحذف معلومة فريدة. حين تصل إلى التركيب ستحتاج هذا الربط لتعرف أي نتيجة تخص أي مجموعة مشاركين.

راجع عينة صغيرة من أحكام الفرز بطريقة عمياء عن الاتجاه إن أمكن: أخفِ خانة «النتيجة تؤيد/لا تؤيد» عن المراجع الذي يراجع سبب الاستبعاد. إذا وجد أن الدراسات السلبية استُبعدت غالبًا تحت سبب عام مثل «سياق مختلف» بينما الدراسات الإيجابية ذات السياق نفسه دخلت، أعد تطبيق المعيار على الجميع. لا تحوّل هذا الفحص إلى ادعاء أن المراجعة أصبحت مستقلة بالكامل؛ هو اختبار لانحياز محتمل في قرار محدد. اكتب عدد الصفوف التي فُحصت وما اختلف فيه المراجعون. في مثال ستة سجلات، لو اختلفا على س4 وس5، فالخلاف ليس «2 من 6» فقط؛ افحص هل يتعلق بتعريف السكان أو زمن القياس، لأن إصلاح القاعدة يعالج القرارات المقبلة أيضًا.

الأسباب الهرمية مفيدة عندما يفشل التقرير في أكثر من شرط. اتفق مسبقًا أن يبدأ الحكم بالسكان، ثم التدخل والمقارن، ثم النتيجة والزمن. س3 قد يفشل في المقارن والنتيجة؛ سجّل «لا مقارن» سببًا رئيسًا و«لا نتيجة إكمال» سببًا ثانيًا. إذا تحولت س3 لاحقًا إلى تقرير فيه مجموعة مقارنة، لا يدخل تلقائيًا؛ افحص النتيجة التي كانت غائبة. وإذا تغير ترتيب الأسباب بين أجزاء الملف، فقد تتبدل أعداد الفئات من دون تغير الدراسات نفسها؛ لذلك احفظ قاعدة التصنيف وتاريخ تعديلها. الغرض من التسلسل ليس إخفاء الأسباب الثانوية، بل جعل مخطط الانتقاء قابلًا للمطابقة مع سجل الصفوف.

بعد الفرز قد ترى فقط دراستين مؤهلتين، إحداهما إيجابية والأخرى سلبية. لا تجعل قلة العدد ذريعة لاختيار الأقرب إلى رغبة المدير. ابدأ بسؤالين: هل تقيسان النتيجة بالتعريف نفسه؟ وهل يمكن أن يكون اختلاف السياق أو الجودة سببًا للتعارض؟ هذه أسئلة للدروس التالية في الاستخراج وتقدير التحيز. أما في هذا الدرس فالمخرج الصادق هو جدول أهليات واضح مع النتيجتين. لو تبين لاحقًا أن س6 دراسة مستقلة بنتيجة سلبية، سيصبح أثر إبقائها «معلقة» ظاهرًا، ويستطيع الفريق تحديث التركيب بدل اكتشاف أنها اختفت من الأصل. هذه فائدة عملية لسجل الاستبعاد: يحفظ أبواب التصحيح والتحديث مفتوحة.

لإتمام الفحص، أعد حساب انتقال السجلات بين المراحل: الستة دخلت فحص النص الكامل؛ س1 وس5 داخلتان لسؤال الإكمال، وس2 تقرير إضافي لنفس الدراسة مع سؤال إتاحة، وس3 وس4 مستبعدتان من سؤال الإكمال بأسباب مسجلة، وس6 غير محسومة. لا تحول هذه الحالات إلى «ثلاث دراسات داخلة وثلاث مستبعدة»؛ العد على مستوى الدراسة يختلف عن عد الوثائق، والمعلّق ليس مستبعدًا. إذا نقلت الجدول إلى مخطط موجز، ضع مفتاحًا يشرح وحدة العد في كل صندوق. اطلب من زميل إعادة اشتقاق الأرقام من الصفوف. عدم تطابقها دليل على خطأ في الربط أو الحالة، لا مشكلة تجميلية في الرسم. عندما يصل سؤال جديد عن الإتاحة، يمكن إعادة استخدام س2 دون إعادة البحث من الصفر، بشرط مراجعة أهلية السؤال الجديد صراحة.

خلاصة الدرس

فرز الدراسات وأثر الاستبعاد