تمثيل البيانات: البنية ليست امتداد الملف
8 دقائق قراءة
أهداف الدرس
- تصنيف السجل بحسب بنيته الفعلية وتحديد ما يلزم لاستخراج حقوله دون الخلط بين نوع الملف ومخزن البيانات
لاستخدام كل الأدوات يرجى تسجيل الدخول
بعد تسجيل الدخول تتاح لك أدوات القراءة: تكبير الخط وتصغيره، ونوع الخط، والمسافة بين الأسطر، ووضع التركيز، وتظليل النص وتغميقه، وملاحظات تُحفظ في حسابك وتجدها في «دراستي».
يختبر مجال مفاهيم البيانات الأساسية قدرتك على التمييز بين البيانات المنظمة وشبه المنظمة وغير المنظمة. نقطة البداية هي السجل الذي سيعالجه التطبيق، لا اسم الخدمة السحابية. البيانات المنظمة تتبع مخططًا ثابتًا نسبيًا: أعمدة معروفة، نوع لكل قيمة، وصفوف يمكن التحقق من قيودها. سجل مواعيد يحوي `appointment_id` و`patient_id` و`slot` و`status` مناسب لهذا الوصف إذا كان كل صف يلتزم بهذه الأعمدة، ولو سُلّم مؤقتًا في ملف `CSV`. الفاصلة لا تجعل البيانات منظمة تلقائيًا؛ قد يحوي ملف `CSV` خلية فيها نص حر أو `JSON`، وقد تختلف الأعمدة بين الملفات. اسأل ما الحقول التي يمكن للبرنامج الاعتماد عليها وما القيود التي يمكنه فرضها قبل اختيار قاعدة البيانات.
البيانات شبه المنظمة تحمل علامات أو مفاتيح تبين أجزاءها، لكن جميع السجلات لا تحتاج إلى الأعمدة نفسها. قد يتضمن مستند `JSON` للملاحظة الطبية `visit_id` و`symptoms`، فيما يضيف مستند آخر `attachments` أو `triage_score`. يمكن للمحلل استخراج مفتاح موجود، ثم التعامل صراحة مع غيابه في مستند آخر. لا يعني ذلك غياب أي تنظيم؛ المفاتيح والبنية المتداخلة جزء من التنظيم. في المقابل، صورة ورقة ممسوحة أو تسجيل صوتي لا يقدمان حقولًا جاهزة للاستعلام عن التشخيص أو التاريخ. يوجد لهما اسم ووقت تحميل ونوع ملف بوصفها بيانات وصفية منظمة؛ أما المحتوى نفسه فيظل غير منظم إلى أن تطبق عليه عملية استخراج، ولا تصبح نتيجة الاستخراج موثوقة لمجرد أن الأداة أرجعت نصًا.
للتمييز العملي، ارسم عمودين: شكل المحتوى قبل المعالجة، والعناصر التي تريد السؤال عنها. إذا كان السؤال «كم موعدًا حالته مؤكد في كل يوم؟» فثبات `status` و`slot` ووجود معرف للموعد يجعل التجميع والتحقق ممكنين. وإذا كان السؤال «كم مستندًا يذكر حساسية دواء؟» فلا يكفي عدد ملفات `PDF`؛ يجب تعريف طريقة استخراج النص، ثم قياس خطئها والتحقق البشري المناسب. أما `JSON` الذي يحمل تفاصيل متغيرة للملاحظات فيسمح باستعلام مفاتيح بعينها مع سياسة للحقول المفقودة. هذه القرارات تتعلق بالبيانات قبل أن تتعلق بالخدمة: قد تحفظ ملفًا منظمًا في مخزن كائنات، أو تحفظ بيانات وصفية عن صورة في جدول، ويبقى تصنيف محتوى الصورة مختلفًا عن تصنيف بياناتها الوصفية.
قبل تحويل التصنيف إلى قرار تخزين، اختبر أربع خصائص لكل مدخل. الأولى ثبات المخطط: هل يمكن رفض سجل لا يحمل الحقول الإلزامية، أم أن غياب الحقل متوقع؟ الثانية مستوى الاستعلام: هل يسأل المستخدم عن صف كامل، وعن مفتاح داخل مستند، أم عن معنى مخفي في صورة أو صوت؟ الثالثة التحويل: ما الخطوة اللازمة قبل حساب المؤشر، وهل تضيف هذه الخطوة خطأ أو فقدًا؟ الرابعة وحدة العد: الملف أو الموعد أو الشخص أو ذكر المصطلح ليست وحدات مترادفة. في المثال، 72/120 تعني نسبة مواعيد مؤكدة قدرها 60% إذا كانت الـ120 مواعيد صحيحة ومتميزة، ولا تعني أن 60% من المرضى أكدوا موعدًا، لأن مريضًا واحدًا قد يملك أكثر من موعد. و12/20 تعني أن 60% من مستندات الملاحظات تحمل المفتاح، لا أن متوسط درجة الفرز 60%؛ لا نعرف قيم الدرجات أصلًا. هذا الانضباط في المقام يمنع سؤال اختبار بسيطًا من التحول إلى تقرير مهني مضلل. عند تغير شكل JSON مستقبلًا ينبغي أن تكون قاعدة التعامل مع الحقول المفقودة معلنة: استبعاد الوثيقة من حساب يعتمد على القيمة، أو فصلها في فئة «غير مسجل»، لا إكمالها بصفر دون سند. وإذا استخرجت أداة نصًا من صورة، تحقق من عينة يدويًا قبل عد الإشارات الحساسة، ووثق نسبة الخطأ المناسبة للغرض؛ التصنيف يحدد العمل المطلوب ولا يضمن دقة المعالجة.
تصلك صورة فاتورة ومعها جدول استخرجته أداة قراءة. أصبح الجدول منظمًا من حيث الشكل، لكن صحة قيمه تحتاج فحصًا منفصلًا. اختر خمس خلايا من الأصل وقارن الاسم والمبلغ والتاريخ. قد تخلط الأداة بين فاصلة عشرية وفاصل آلاف، فتنتج قيمة قابلة للجمع لكنها خاطئة. سجل قيمة المصدر والقيمة المستخرجة وسبب التصحيح. احتفظ برابط الصورة حتى يستطيع زميلك إعادة الفحص. حدد أيضًا وحدة الصف قبل عد السجلات. فاتورة من ثلاثة بنود قد تنتج ثلاثة صفوف، مع أنها وثيقة واحدة. إذا طلب المدير عدد الفواتير، عد معرف الوثيقة الفريد. وإذا طلب عدد البنود، عد السطور بعد التحقق من اكتمال الاستخراج. هكذا تفصل بنية الناتج عن جودة القراءة وعن معنى العدد المطلوب.
خلاصة الدرس
تصنيف السجل بحسب بنيته الفعلية وتحديد ما يلزم لاستخراج حقوله دون الخلط بين نوع الملف ومخزن البيانات