جودة البيانات والتنظيف الموثق قبل التحليل

جودة البيانات تعني ملاءمتها للغرض

لا توجد «جودة» بمعزل عن الاستخدام. قد تكون بيانات قديمة بما يكفي لتخطيط سنوي لكنها غير مناسبة لمراقبة تشغيلية يومية. يعرّف إطار جودة البيانات الحكومي الجودة بوصفها ملاءمة للغرض ويؤكد أنها أوسع من تنظيف لمرة واحدة؛ يجب فهم الجودة ومراقبتها عبر دورة البيانات. بالنسبة للمحلل، السؤال العملي هو: ما العيب الذي يمكن أن يغيّر هذا القرار أو يجعل هذا المقياس مضللًا؟

نظف، لكن اترك أثرًا لما فعلته

قبل التنظيف احتفظ بنسخة خام غير معدلة أو بوسيلة تمكن من الرجوع للمصدر. ثم استخدم سجل تنظيف يبين القاعدة، عدد السجلات المتأثرة، الإجراء، السبب، والأثر المتوقع على التحليل. مثال: «3 سجلات متطابقة في جميع الحقول ومفتاح التحميل؛ تحققنا من أنها إعادة تحميل؛ احتفظنا بنسخة واحدة؛ انخفض عدد الصفوف من 100 إلى 97». هذا أوضح من «تم تنظيف البيانات».

قد تتعارض أبعاد الجودة. انتظار التحقق الكامل من كل السجلات قد يزيد الدقة لكنه يجعل التقرير أقل حداثة. نشر تقرير سريع قد يحسن timeliness لكنه يحتاج تمييز البيانات المؤقتة وذكر مستوى الاكتمال. لا توجد إجابة واحدة دائمًا؛ القرار يعتمد على غرض الاستخدام، أثر الخطأ، وإمكانية تحديث النتيجة لاحقًا.

بعد التنظيف أعد حساب مؤشرات أساسية: عدد الصفوف، المفاتيح الفريدة، نسب الفقد، الحدود العددية، والمقاييس الرئيسية التي يجب أن تبقى مستقرة أو يتغير تفسيرها بوضوح. إذا أدى التنظيف إلى تغير كبير في النتيجة، فهذه معلومة يجب إظهارها لا إخفاؤها، لأنها تحدد مدى اعتماد القرار على قواعد المعالجة.