טיפול בנתונים - נתונים חסרים

טיפול בנתונים

• טיפול בנתונים הוא שלב קריטי בניתוח נתונים, בו מבטיחים שהנתונים מדויקים, עקביים ומוכנים לניתוח.
• הטיפול כולל התמודדות עם בעיות כמו ערכים חסרים, כפילויות, ערכים חריגים והמרת סוגי נתונים.

נתונים חסרים (Missing Data)

• נתונים חסרים מופיעים כאשר אין ערכים בשדות בטבלה.

• הסיבות יכולות להיות טעויות באיסוף נתונים, שגיאות מערכת או מדיניות עסקית.

• טכניקות לטיפול:

  • מחיקת נתונים חסרים:
    • שימוש: במקרים עם מעט נתונים חסרים או כאשר הערכים החסרים פחות חשובים.
    • שיטות: שימוש בפונקציה dropna() ב-Pandas למחיקת שורות או עמודות בעלות ערכים חסרים.
  • השלמת ערכים חסרים (Imputation):
    • שימוש: כאשר לא רוצים למחוק נתונים.
    • שיטות:
      • ממוצע/חציון/שכיחות (mean/median/mode).
      • שיטות מתקדמות יותר, כמו רגרסיה או מודלים מבוססי למידה חישובית.
    • דוגמה לקוד פיתון: (df['column_name'].fillna(df['column_name'].mean(), inplace=True
  • ערכי ברירת מחדל:
    • הזנת ערכים קבועים, כגון "לא ידוע" או 0.
    • דוגמה לקוד פיתון: (df['column_name'].fillna("Unknown", inplace=True

כפילויות בנתונים (Duplicate Data)

• כפילויות מתרחשות כאשר יש שורות זהות או כמעט זהות בטבלה.

• זה עלול להוביל לסטיות בניתוח ולתוצאות מוטעות.

• טיפול בכפילויות:

  • איתור ומחיקה:
    • שימוש בפונקציה duplicated() ב-Pandas לזיהוי ושורות כפולות.
    • מחיקת של שורות כפולות: (df = df.drop_duplicates
  • שמירת רק רשומות ייחודיות:
    • ניתן להתמקד בשדה ספציפי ולהסיר כפילויות על פיו:
    • דוגמה לקוד פיתון: (df = df.drop_duplicates(subset=['column_name’]

נתונים חריגים (Outliers)

• ערכים שנמצאים רחוק משמעותית מרוב הערכים במדגם.

• הסיבות יכולות לטעויות מדידה, שגיאות הקלדה או תופעות אמיתיות.

• זיהוי נתונים חריגים:

  • סטטיסטיקות תיאוריות:
    • שימוש בסטיית תקן, רבעונים (IQR) או טווחים.
    • דוגמאות לקוד פיתון:
      • Q1 = df['column_name'].quantile(0.25)
      • Q3 = df['column_name'].quantile(0.75)
      • IQR = Q3 - Q1
      • lower_bound = Q1 - 1.5 * IQR
      • upper_bound = Q3 + 1.5 * IQR
  • ויזואליזציה:
    • שימוש בתרשימים כמו Scatterplot ו-Boxplot לזיהוי חזותי.
    • דוגמא לקוד פיתון: import matplotlib.pyplot as plt; df.boxplot(column=['column_name']); plt.show()

• טיפול בנתונים חריגים:

  • מחיקה:
    • הסרת הערכים החריגים אם הם נחשבים כטעויות.
    • דוגמה לקוד פיתון: df = df[(df['column_name'] >= lower_bound) & (df['column_name'] <= upper_bound)]
  • החלפה בערכים סבירים:
    • ניתן להחליף ערכים חריגים בממוצע, חציון או ערך מקובל אחר.
  • טכניקות מתקדמות:
    • שימוש במודלים מבוססי למידה חישובית לזיהוי וניהול נתונים חריגים.

המרת סוגי נתונים (Data Type Conversion)

• שינוי סוג עמודות, כגון שינוי מספר שלם למסמך או מחרוזת לתאריך.

• חשוב לתאימות בין ערכי הנתונים לתהליכי עיבוד.

• המרת מחרוזת למספר:

  • כאשר מספרים נשמרים כטקסט (כגון "123" → 123).
  • דוגמה לקוד פיתון: df['column_name'] = pd.to_numeric(df['column_name'], errors='coerce')

• המרת מחרוזת לתאריך:

  • דוגמה לקוד פיתון: df['date_column'] = pd.to_datetime(df['date_column'])

• המרת מספר לקטגוריה:

  • דוגמה לקוד פיתון: df['column_name'] = df['column_name'].astype('category')

• שינוי סוג מספרי: (כגון int ל-float)

  • דוגמה לקוד פיתון: df['column_name'] = df['column_name'].astype(int)

ניתוח נתונים חוקר (EDA)

• ניתוח נתונים חוקר (EDA) נועד להבין נתונים, לזהות דפוסים ולהסיק תובנות ראשוניות.

• לרוב משתמשים בוויזואליזציות סטטיסטיות וגרפיות.

• מטרות EDA:

  • הבנת מבנה הנתונים (סוג עמודות, ערכים חסרים, פיזור, סולמות).
  • זיהוי קשרים בין משתנים (קורלציות, דפוסים, אנומליות).
  • בדיקת הנחות בסיס (התפלגות נתונים, קיום נתונים חריגים).
  • יצירת השערות למחקר עמוק יותר.

• שלבים מרכזיים ב-EDA:

  • ניתוח סטטיסטי תיאורי (ממוצע, חציון, סטיית תקן, מינימום-מקסימום).
    • דוגמה לקוד פיתון: df.describe()
  • זיהוי ערכים חסרים וכפילויות.
    • דוגמה לקוד פיתון (לזיהוי ערכים חסרים): df.isnull().sum(), דוגמה נוספת (לזיהוי כפילויות): df.duplicated().sum()
  • יצירת ויזואליזציות (חד-ממדיות, דו-ממדיות ותלת-ממדיות).

כלים לויזואליזציות

• Matplotlib: ספריית גרפים גמישה וחזקה.
• Seaborn: ספרייה מבוססת Matplotlib לגרפים סטטיסטיים.
• Plotly: ליצירת גרפים אינטראקטיביים.
• Pandas: כלים ליצירת גרפים מ-DataFrame ישירות.

למידה מונחית

• מהי למידה מונחית? נתונים מכילים קלט ותווית יעד. המטרה ללמוד פונקציה שמאתרת קלט לתווית.

• מטרות:

  • חיזוי ערכים רציפים (רגרסיה)
  • זיהוי קטגוריות (סיווג)

• אלגוריתמים:

  • רגרסיה לינארית (Linear Regression)
  • רגרסיה לוגיסטית (Logistic Regression)
  • עץ החלטה (Decision Tree)
  • K-Nearest Neighbors (KNN)
  • Naive Bayes

למידה לא מונחית

• מהי למידה לא מונחית? נתונים מכילים רק קלט, ללא תוויות יעד. מטרתה לזהות מבנים או דפוסים.

• מטרות:

  • אשכולות (Clustering)
  • הפחתת ממדים (Dimensionality Reduction)

• אלגוריתמים:

  • K-Means
  • DBSCAN
  • קלאסטרינג היררכי