الفصل 1 - أساسيات البيانات الضخمة

بيانات ضخمة الحجم ومتنوعة، تتطلب تقنيات خاصة لمعالجتها وتحليلها.

تتميز البيانات الضخمة بالكمية الهائلة والتنوع والسرعة.

ارتفاع هائل في حجم البيانات بشكل سريع جداًبسبب التطور التكنولوجي.

تشمل مجالات مختلفة مثل العلوم، الإنترنت، النقل الذكي، والزراعة وغيرها.

تتضمن مراحل تخزين البيانات، ومعالجتها، وتحليلها، وعرضها.

ثورة في إنتاج وحجم البيانات بسبب الأجهزة المحمولة والشبكات الاجتماعية والمصادر الجماعية.

الوحدات المستخدمة لقياس حجم البيانات، مثل البايت، الميجابايت، الجيجابايت، التيرابايت، والبتابايت.

قانون يصف التطور المتزايد في قدرة المعالجات الرقمية.

لقد تغير نموذج توليد البيانات واستهلاكها. في السابق، كانت شركات قليلة تنتج البيانات، بينما كانت الشركات الأخرى تستهلكها. الآن، كلّنا نُنتج البيانات ونستهلكها.

البيانات الضخمة تتميز بخصائص محددة، أهمها ما يُعرف بـ (الـ 5 v's).

تنقسم البيانات الضخمة إلى ثلاثة أنواع رئيسية: البيانات المُمنهجة، البيانات شبه المُمنهجة، والبيانات غير المُمنهجة.

نجد البيانات الضخمة في العديد من المجالات، مثل السجلات المُفصلة للمكالمات، وسجلات نقاط البيع، وبيانات المطالبات.

البيانات المُمنهجة هي بيانات مُنظمة وذات هيكل مُحدد، مثل سجلات المكالمات وسجلات نقاط البيع.

البيانات شبه المُمنهجة هي بيانات تتميز بعناصر مُنظمة جزئيًا، مثل سجلات المواقع الإلكترونية وبيانات المستشعرات.

تُصنّف البيانات غير المُمنهجة كبيانات لا تتمتع بهيكل مُحدد، مثل الفيديو والصوت والصور والنصوص.

بيانات ضخمة ذات حجم كبير ومتنوعة الأصول والمصادر وذات طبيعة أكثر حيوية في الوقت الفعلي من تطبيقات مخازن البيانات التقليدية.

استخدام تقنيات الإحصاء المعقدة وتحليل البيانات التنبؤية لتحقيق قيمة من البيانات الضخمة.

هياكل معمارية مثل Exadata و Teradata غير مناسبة لتطبيقات البيانات الضخمة.

هياكل معمارية مناسبة لتطبيقات البيانات الضخمة، تتميز بمعالجة متوازية على نطاق واسع.

يجب أن تتكيف البنية التحتية التقنية لتلبية متطلبات البيانات الضخمة، وتشمل نماذج جديدة مثل نماذج التجميع والتشفير والعمليات المتوازية.

من الضروري أن تتكيف البنية التحتية مع خصائص البيانات الضخمة، مما يؤدي إلى ظهور نماذج تقنية جديدة.

تستفيد البنية التحتية من البيانات الضخمة، مع ظهور نماذج تقنية جديدة تجمع بين الحلول والمعالجة الفورية وتوزيع البيانات.

تشمل التحديات جمع البيانات، معالجة البيانات، تخزين البيانات، تحويل البيانات، حماية البيانات، ونقل البيانات إلى جانب تخصصات العمل.

مصدر البيانات وكيفية الحصول عليها.

تطبيقات متنوعة تستخدم لمعالجة كميات هائلة من البيانات، مثل الخدمات المالية والرعاية الصحية والتسويق.

عملية استخراج المعلومات من كميات كبيرة من البيانات لفهم الاتجاهات والأنماط وتحديد القرارات.

بيانات متولدة من استخدام الإنترنت، كبيانات حركة المرور ومحتويات المواقع.

أمثلة على تطبيقات البيانات الضخمة، حيث تحتاج إلى معالجة كميات هائلة من المحتوى لإيجاد النتائج المناسبة.

تطبيق البيانات الضخمة لتحليل البيانات الجغرافية والطقسية للحصول على رؤى قيّمة.

يستخدم البيانات الضخمة لتحسين أنظمة النقل من خلال دمج البيانات من مصادر مختلفة.

استخدام البيانات الضخمة لتحسين الرعاية الصحية من خلال تحليل البيانات الطبية.

مجموع الخطوات والعمليات لتحويل البيانات إلى قيمة مضافة.

مجموعة من الفرص التي تقدمها البيانات الضخمة، لمعالجة كميات كبيرة من البيانات الطبية لزيادة الاعتماد على البيانات في الرعاية الصحية.

استخدام البيانات الضخمة لدفع الاكتشاف العلمي والابتكار في مجالات متنوعة.

Massive volume of data, diverse sources, high velocity, and that need specific technologies for processing and analysis.

Big data is characterized by its volume, variety, velocity, and veracity.

Rapid increase in the volume of data due to technological advancements.

Big data is applicable across many fields, including science, internet, intelligent transportation systems, agriculture, and finance.

Steps for transforming raw data to valuable information (storage, processing, analytics, and visualization).

The potential benefits big data analytics provides across various industries like financial, healthcare, education, and agriculture.

Problems of data size, processing speed, storage, and analysis, plus the need to protect the data securely.

An observation that describes the rapid increase in computing power over time.

KB, MB, GB, TB, PB, EB, ZB, YB are units used to measure data size.

Factors influencing Big Data, including optimization, predictive analytics, complex statistics, large datasets, and real-time processing.

Data storage architectures (e.g., Exadata, Teradata) that are not well-suited for Big Data applications due to their limitations in real-time processing and scalability.

IT systems designed to handle increasing amounts of Big Data, including hardware models, storage, distribution, and cloud strategies.

IT systems that adapt to changing Big Data characteristics, including configurable architectures, cloud implementations and automation.

IT systems that utilize real-time data processing and analysis for Big Data, enabling combined solutions and complex analytics.

Obstacles in managing Big Data, including data collection, processing, storage, conversion, security, and cost reduction.

The process of acquiring data from various sources, which is crucial to Big Data analysis.

Moving data from one location to another, critical for data integration and analytics.

The transformation of raw data into usable information.

Storing large quantities of data securely and efficiently.

Organizing, governing and utilizing data effectively.

Distributing data to the right audience and systems, essential for accessibility and usage.

Transforming data from one format to another for efficient analysis and processing.

Protecting data from unauthorized access and ensuring data privacy.

The financial implications associated with Big Data, including storage, processing, and maintenance.

The specialized skills required to manage and use Big Data, like data analytics, and problem-solving.

Categories of industries and sectors utilizing big data analytics.

Data related to patient health, including EMRs and diagnostic images.

Data about medical claims, insurance payments, and healthcare expenditures.

Specific uses of big data analysis in various sectors.

Application of big data techniques in scientific fields.

Data related to pharmaceutical research and development, including clinical trials and genomics.

Collecting and analyzing data from various resources like satellites and sensors.

Data concerning patient demographics, health behaviors, and consumer trends, often involving social media.

Using big data to discover patterns and make predictions from genetic data.

Data from medical devices, such as wearable sensors and diagnostic equipment.

Using large, complex data sets to improve patient care, research, and healthcare operations.

The use of big data in analyzing internet traffic and web data.

Processing billions of search requests and content to find relevant results rapidly.

Identifying and extracting useful information from large datasets.

Regularities or trends within data, revealing insights in healthcare data.

Using big data to process data from sensors, satellites, and radar to assess climate patterns.

Using big data to improve traffic management, vehicle tracking, and urban planning.

Forecasting future events or outcomes in healthcare based on historical trends.

Applying big data techniques for improving healthcare, detecting diseases, and accelerating research.

Specialized databases designed for storing data for healthcare research.

Enhancement in patient care quality and efficient program analysis using healthcare data.

The stages involved in managing and utilizing big data, including storage, processing, and analysis.

Healthcare model emphasizing coordinated care and preventative health focused on specific patient groups.

Potential benefits of big data in various sectors.

Using big data to improve disease prediction, treatment, and patient care.

Data-driven approach to managing the healthcare needs of a defined group of people.

Data that identifies relationships and patterns, rather than direct causality.

Variety of data from different sources within healthcare, including clinical, claims, and patient data.

Characteristics of big data, including volume, velocity, variety, variability, and veracity.