مفاهيم البيانات الأساسية · الدرس 5

قراءة صيغ الملفات قبل اختيار المخزن

7 دقائق قراءة

أهداف الدرس

  • قارن CSV وJSON وصيغ الأعمدة وفق البنية والتحقق ونمط القراءة
أدوات القراءة

اسم الملف لا يكفي لتحديد بنية البيانات. ابدأ بوحدة السجل وبالمفاتيح التي يستطيع المستهلك استخراجها منه. في CSV تمثل الصفوف سجلات، لكن أسماء الأعمدة وأنواعها واتفاق ترميزها وفاصلها ليست ضمانًا تلقائيًا: قد تكون القيمة 00123 معرفًا نصيًا لا العدد 123، وقد يحمل حقل التاريخ صيغتين مختلفتين. في JSON يمكن أن تضم الوثيقة حقولًا مسماة وقوائم متداخلة، وهذا يجعلها شبه منظمة، لكنه لا يثبت أن كل وثيقة تملك الحقول نفسها. أما صورة الإيصال فهي محتوى غير منظم بالنسبة لسؤال عن مبلغ الإيصال حتى تستخرج الحقول المطلوبة إلى سجل يمكن التحقق منه. افصل إذن بين امتداد الملف وبنية محتواه والعقد الذي يحتاجه السؤال.

قبل نقل ملف إلى مخزن، اكتب عقدًا صغيرًا يحدد معرف السجل، نوع كل حقل، القيمة المفقودة المقبولة، المنطقة الزمنية، ومصدر السجل. إذا كان حقل `amount` رقمًا عشريًا بعملة معلومة، فاحفظ نوعه وعملته أثناء التحويل. إذا احتوى صف `CSV` على فاصلة داخل اسم جهة، فيجب أن يفسر القارئ علامات الاقتباس وفق الاتفاق؛ تقسيم السطر عند كل فاصلة يدمر الأعمدة. وإذا وصلت وثيقة `JSON` فيها `field` قديم و`field` جديد، فتحفظ التمييز بين غياب الحقل والقيمة الصفرية. اختبر عينة تشمل السجل الطبيعي والحدّي والخاطئ، وسجّل قاعدة رفض أو إصلاح معلنة بدل السماح بتبديل صامت لمعنى التقرير.

يختلف شكل التخزين المناسب باختلاف القراءة. عندما يريد موظف مراجعة صف واحد بمعرفه وتحديثه فورًا، تكون قاعدة بيانات بفهرس أو مفتاح ملائم أقرب إلى الحاجة من فحص جميع الملفات. وعندما يريد محلل جمع حقل واحد على ملايين السجلات عبر فترات، قد تفيد صيغة عمودية لأنها تقرأ الأعمدة المطلوبة بدل حمل كل حقل في كل صف. هذا تمييز مفهومي لا وعد بأن صيغة بعينها أسرع في كل حالة؛ عدد الملفات الصغيرة، الضغط، مكان التخزين، وتوزيع القيم تغير النتيجة. احتفظ بالملف الخام عند الحاجة للتتبع، ولكن أنشئ نسخة محققة ومهيأة للتحليل بعقد واضح، ولا تسمِّ النسخة المحققة أصلًا خامًا.

انظر إلى التحول بين الصيغ كتحول في المعنى لا مجرد تبديل امتداد. تحويل JSON متداخل إلى جدول قد يفك قائمة الطلبات إلى عدة صفوف؛ إذا كررت قيمة إجمالي الطلب على كل صف ثم جمعتها فسيتضاعف الإجمالي. وتحويل CSV إلى أعمدة محسنة للقراءة لا يصلح تلقائيًا مشكلة تكرار المعرف أو غياب تاريخ الحدث. عرّف عدد المدخلات وعدد المخرجات المتوقع، ومفتاح إزالة التكرار، وعلاقة الصفوف بالوثائق الأصلية. إذا تغير المخطط، افحص هل المستهلك القديم يقرأ الحقل الجديد أو يتجاهله، وهل الغياب مقصود أم خطأ. عند الإجابة عن سؤال اختيار الصيغة، اذكر سؤال العمل وحجم القراءة المتكرر وما الذي يجب التحقق منه بعد التحويل.

ضع حدودًا واضحة لما تستطيع معرفته من عينة صغيرة. رؤية عشرة صفوف سليمة لا تثبت أن مليون صف يطابق العقد. افحص توزيع القيم الفارغة، وتفرد المفاتيح، ومدى التواريخ، وعدد السجلات المرفوضة في كل دفعة. قارن الأعداد قبل التحويل وبعده وفق الحبيبة الصحيحة: قد يزيد عدد صفوف العناصر على عدد وثائق الطلبات دون أن يكون ذلك فقدًا أو تكرارًا، لكن يجب تفسير الزيادة بعدد العناصر المتوقع. إذا اكتشفت حقلًا جديدًا، وثّق النسخة التي بدأت فيها إضافته وأثره على الاستعلام. إذا احتوى المصدر على بيانات شخصية، فلا تجعل نسخة التحليل أو سجل الأخطاء يضاعف انتشارها بلا حاجة. هذه فحوص جودة وحوكمة تقود قرار التخزين؛ لا تعني أن صيغة الملف نفسها تنفذ سياسة الخصوصية أو تصحح البيانات. في المقارنة بين خيارين، اذكر دائمًا ما الذي ستقيسه بعد التنفيذ لإثبات أن الاختيار خدم السؤال الأصلي.

تفتح ملفًا فتختفي الأصفار الأولى من معرف الحساب. لاحظ أن المعرف يشبه رقمًا لكنه يؤدي وظيفة اسمية. تحفظه كنص إذا كان الصفر جزءًا من الهوية، ثم تختبر دورة التصدير والاستيراد. راجع أيضًا طريقة كتابة التاريخ والفاصل العشري قبل تحويل القيم. قد يعني تاريخ واحد يومًا مختلفًا في نظامين. اتفق على صيغة صريحة ووحدة قياس معلومة، واحتفظ بالقيمة الأصلية بجوار القيمة المحولة أثناء الفحص. اختر عينة فيها قيمة صغيرة وقيمة كبيرة وتاريخ ملتبس ومعرف يبدأ بصفر. تفيد هذه الحالات أكثر من تجربة صف سهل واحد. عند نقل بيانات أعمدة إلى صيغة أخرى، قارن المعنى والنوع والعدد، لأن ظهور الملف دون خطأ لا يثبت سلامة التحويل.

خلاصة الدرس

قارن CSV وJSON وصيغ الأعمدة وفق البنية والتحقق ونمط القراءة