تطهير البيانات والتنظيف هو عملية تحديد أو إزالة البيانات غير الصحيحة أو الفاسدة أو غير الصحيحة أو المثبتة أو المكررة أو غير الكاملة ضمن مجموعة بيانات. ولدى الجمع بين مصادر البيانات المتعددة، هناك العديد من الفرص التي تتيح تكرار البيانات أو تضليلها. وإذا كانت البيانات غير صحيحة، فإن النتائج والخوارزميات غير موثوقة، على الرغم من أنها قد تبدو صحيحة. ولا توجد طريقة مطلقة لتحديد الخطوات الدقيقة في عملية تنظيف البيانات لأن العمليات ستتفاوت من مجموعة البيانات إلى مجموعة البيانات. ولكن من المهم وضع نموذج لعملية تنظيف البيانات الخاصة بك حتى تعرف أنك تفعل ذلك بالطريقة الصحيحة في كل مرة.

ما الفرق بين تنظيف بيانات الكبريت وتحويل البيانات؟

تنظيف البيانات هو العملية التي تزيل البيانات التي لا تنتمي إلى حزامك وتحول البيانات هو عملية تحويل البيانات من شكل أو هيكل إلى آخر. ويمكن أيضاً الإشارة إلى عمليات التحول على أنها مصارعة البيانات أو غسيل البيانات. هذه المقالة تركز على عمليات تنظيف بيانات الكرم المخرج الخاص بك وعلى البيانات الخام التي تخطط لاستيرادها

كيف تنظف البيانات؟

في حين أن التقنيات المستخدمة لتنظيف البيانات قد تتفاوت وفقاً لأنواع البيانات التي تخزنها شركتك، يمكنك أن تتبع هذه الخطوات الأساسية لوضع إطار لمنظمتك.

الخطوة 1: إزالة الصفوف المزدوجة أو غير ذات الصلة

إزالة الصفوف غير المرغوبة من مجموعة البيانات الخاصة بك، بما في ذلك الصفوف المزدوجة أو البيانات غير ذات الصلة. وسيحدث الصفوف المزدوجة في معظم الأحيان أثناء استيراد البيانات أو التزوير مع نظمنا. عندما تستورد البيانات من أماكن متعددة، بيانات الخردة، أو تحصل على البيانات من العملاء أو إدارات متعددة، هناك فرص لخلق بيانات مزدوجة. ويعتبر إلغاء الجدول أحد أكبر المجالات التي ينبغي النظر فيها في هذه العملية.

الخطوة 2: إصلاح الأخطاء الهيكلية

الأخطاء الهيكلية هي عندما تقيس البيانات أو تنقلها وتلاحظ اتفاقيات تسمية غريبة أو مخططات أو رسملة غير صحيحة وهذه التناقضات يمكن أن تسبب فئات أو فصولا غير محددة. فعلى سبيل المثال، قد تجدون " لا ينطبق " و " لا ينطبق " على السواء، ولكن ينبغي تحليلهما بوصفهما نفس الفئة.

الخطوة 3: تصفية البيانات غير المرغوب فيها

في كثير من الأحيان، قبل أن تستورد البيانات إلى حزامك ستجد بعض الصفوف لها بيانات خاطئة لا يمكنك استخدامها مثل الخيوط بدون بريد إلكتروني تصفية تلك الصفوف قبل الاستيراد

الخطوة 4: معالجة البيانات المفقودة

ولا يمكنك تجاهل البيانات المفقودة لأن العديد من الميادين لن تقبل القيم المفقودة. هناك طريقتان للتعامل مع البيانات المفقودة ولا هو أمثل، ولكن يمكن النظر في كليهما.

1. كخيار أول، يمكنك إسقاط الصفوف التي لديها قيم مفقودة، ولكن القيام بذلك سوف تسقط أو تفقد المعلومات، لذلك كن حذرا من هذا قبل أن تزيله.
2. وكخيار ثان، يمكنك إدخال القيم المفقودة على أساس الصفوف الأخرى؛ ومرة أخرى، هناك فرصة لفقدان سلامة البيانات لأنه قد تكون تعمل من الافتراضات وليس من الملاحظات الفعلية.
3. كخيار ثالث، قد تُغيّر الطريقة التي تُستخدم بها البيانات لنقل قيم باطلة

الخطوة 5: المصادقة والقوة

في نهاية عملية تنظيف البيانات، يجب أن تكون قادرا على الإجابة على هذه الأسئلة كجزء من المصادقة الأساسية:

هل البيانات منطقية؟

• هل تتبع البيانات القواعد المناسبة لميدانها؟
• هل يثبت أو يبطل نظرية عملك أو يجلب أي فكرة للضوء؟
• هل يمكن أن تجد الاتجاهات في البيانات لمساعدتك على تشكيل نظريتك القادمة؟
• إن لم يكن كذلك، أهذا بسبب مسألة جودة البيانات؟

ويمكن للاستنتاجات الخاطئة بسبب البيانات غير الصحيحة أو " الودية " أن تسترشد باستراتيجية الأعمال التجارية السيئة واتخاذ القرارات. ويمكن للاستنتاجات الزائفة أن تؤدي إلى لحظة محرجة في اجتماع لتقديم التقارير عندما تدركون أن بياناتكم لا تقف في طريق التدقيق. قبل أن تصل إلى هناك، من المهم خلق ثقافة من البيانات الجيدة في منظمتك. للقيام بذلك، يجب أن توثق الأدوات التي قد تستخدمها لخلق هذه الثقافة ونوعية البيانات بالنسبة لك.