مقدمة في تعدين البيانات

لماذا تعدين البيانات؟

• يرجع ذلك إلى النمو الهائل في حجم البيانات (من تيرابايت إلى بيتابايت).

أسباب ذلك

• جمع البيانات وتوافرها، مثل أدوات جمع البيانات الآلية وأنظمة قواعد البيانات والويب والمجتمع المحوسب.
• المصادر الرئيسية للبيانات تشمل الأعمال (الويب، التجارة الإلكترونية، المعاملات، الأسهم)، والعلوم (الاستشعار عن بعد، المعلوماتية الحيوية، المحاكاة العلمية)، والمجتمع (الأخبار، الكاميرات الرقمية، يوتيوب).

استخدام تعدين البيانات

• تحليل آلي لمجموعات البيانات الضخمة.
• استخراج الأنماط المثيرة للاهتمام أو المعرفة من كميات هائلة من البيانات.
• الأنماط المثيرة للاهتمام هي غير بديهية وضمنية وغير معروفة مسبقًا ومفيدة محتملة.

أسماء بديلة لتعدين البيانات

• اكتشاف المعرفة (التعدين) من البيانات (KDD).
• استخلاص المعرفة
• تحليل البيانات/الأنماط
• ذكاء الأعمال

أمثلة على مهام تعدين البيانات

• التصنيف: العثور على جميع المتقدمين للحصول على الائتمان الذين يمثلون مخاطر ائتمانية عالية.
• التجميع: تحديد العملاء ذوي عادات الشراء المماثلة.
• قواعد الربط: العثور على جميع العناصر التي يتم شراؤها بشكل متكرر مع الحليب.

أمثلة على استعلام قاعدة البيانات

• العثور على جميع المتقدمين للحصول على الائتمان الذين يحملون الاسم الأخير سميث.
• تحديد العملاء الذين قاموا بشراء أكثر من 10000 دولار في الشهر الماضي.
• العثور على جميع العملاء الذين قاموا بشراء الحليب.

الفرق بين تعدين البيانات واستعلام قاعدة البيانات

• يسترجع استعلام قاعدة البيانات بيانات محددة بناءً على شروط محددة مسبقًا، بينما يكتشف تعدين البيانات أنماطًا وعلاقات مخفية في مجموعات بيانات كبيرة.

عملية اكتشاف المعرفة (KDD)

• يلعب تعدين البيانات دورًا أساسيًا في عملية اكتشاف المعرفة.

خطوات KDD

• جمع البيانات
• اختيار البيانات
• تنظيف البيانات
• تكامل البيانات
• تحويل البيانات
• تعدين البيانات
• تقييم الأنماط
• عرض المعرفة

خطوات المعالجة المسبقة للبيانات

• اختيار البيانات
• تنظيف البيانات
• تكامل البيانات
• تحويل البيانات

مهام تعدين البيانات

• هناك نوعان رئيسيان من مهام تعدين البيانات.

وصفي

• توصيف خصائص البيانات في مجموعة بيانات مستهدفة.
• أمثلة على ذلك: التجميع والنمط المتكرر والاقتران.

تنبؤي

• إجراء الاستقراء على البيانات الحالية للتنبؤ بقيم البيانات الجديدة.
• أمثلة على ذلك: التصنيف وتحليل القيم المتطرفة.

استخدام وظائف تعدين البيانات

• تحديد أنواع الأنماط التي سيتم العثور عليها في مهام تعدين البيانات.

التصنيف

• عملية إيجاد نموذج (أو وظيفة) تصف وتميز فئات أو مفاهيم البيانات.
• يعتمد النموذج على تحليل مجموعة من بيانات التدريب.
• يستخدم النموذج للتنبؤ بتسمية الفئة للكائنات التي تكون تسميتها غير معروفة.

التجميع

• يحلل كائنات البيانات بدون تسميات ويمكنه إنشاء تسميات فئة لمجموعة من الكائنات.
• يتم تجميع الكائنات أو تجميعها بناءً على التشابه.
• تتشكل مجموعات الكائنات بحيث تكون الكائنات داخل المجموعة متشابهة جدًا مقارنة ببعضها البعض، ولكن ليست متشابهة بالنسبة للكائنات في المجموعات الأخرى.

الأنماط المتكررة والتحليل الترابطي والارتباطي

• الأنماط المتكررة هي الأنماط التي تحدث بشكل متكرر في البيانات.
• يؤدي إلى اكتشاف الترابطات والارتباطات المثيرة للاهتمام داخل البيانات.

تحليل القيم المتطرفة

• القيمة المتطرفة: كائن بيانات لا يتوافق مع السلوك العام للبيانات.

فائدة القيم المتطرفة

• كشف الاحتيال وتحليل الأحداث النادرة.