סטטיסטיקה בסיסית ועבודת מדען נתונים

סטטיסטיקה בסיסית

• ממוצע (Mean): מרכז הכובד של ההתפלגות.
• חציון (Median): הערך שמחלק את ההתפלגות לשני חלקים שווים.
• שכיח (Mode): הערך שמופיע הכי הרבה פעמים.
• סטיית תקן (Standard Deviation): מדד לפיזור הערכים סביב הממוצע.
• שונות (Variance): מדד לפיזור הנתונים, הריבוע של סטיית התקן.
• זנבות (Tails): הקצוות של ההתפלגות, יכולים להיות חיוביים או שליליים.
• רבעון (Quartile): ערכים שמחלקים את ההתפלגות לארבעה חלקים שווים.
  • הרבעון הראשון (Q1) הוא הערך שמעליו נמצאים 25% מהנתונים.
  • הרבעון השני (Q2) הוא החציון.
  • הרבעון השלישי (Q3) הוא הערך שמעליו נמצאים 75% מהנתונים.
  • IQR (Interquartile Range): ההפרש בין Q3 ו-Q1

שלבים בעבודתו של מדען נתונים

• ניסוח שאלת מחקר
• ניקוי נתונים
• ניתוח נתונים
• בניית מודל
• אימות מודל
• הסקת מסקנות

ניתוח נתונים חקרוני (EDA)

• המטרה היא לזהות תבניות וקשרים בנתונים, בייחוד בגרפים.
• לחלץ משתנים, לזהות ערכים חריגים (outliers), להסיק מסקנות.

סולמות מדידה

• סולם שמות (Nominal): שכיחות
• סולם סדר (Ordinal): שכיחות, חציון, אחוזונים
• סולם רווח (Interval): שכיחות, חציון, ממוצע, הפרשים
• סולם יחס (Ratio): שכיחות, חציון, ממוצע, הפרשים, יחסים

ספריות ופונקציות ב-Python

• Pandas: ניתוח נתונים, עיבוד נתונים, טבלאות (dataframes), מיזוג, סינון, ניקוי.
• Matplotlib: ויזואליזציה של נתונים, יצירת גרפים, תרשימים, תצוגות.
• SciPy: חישובים מדעיים, מתמטיים, ניתוח סטטיסטי, אופטימיזציה.
• Scikit-learn (Sklearn): למידת מכונה.
• NumPy: חישובים בסיסיים, מערכים.
• Requests: פניות HTTP.
• Beautiful Soup: ניתוח מסמכי HTML, שליפה, שינוי, ניתוח נתונים.
• Selenium: אוטומציה של דפדפני אינטרנט.

סוגי נתונים ב-Python

• מילון (Dictionary): זוגות מפתח-ערך.
• טפל (Tuple): סדרת ערכים שאינה ניתנת לשינוי.
• רשימה (List): סדרת ערכים ניתנת לשינוי.
• קבוצה (Set): סדרת ערכים ייחודיים ללא סדר.

פונקציות ב-Pandas

• describe(): סטטיסטיקות סיכום (לנתונים מספריים).
• info(): מידע על DataFrame (סוגי נתונים, ערכים חסרים).
• head(): חמש השורות הראשונות של DataFrame.
• tail(): חמש השורות האחרונות של DataFrame.

קורלציה

• קורלציית פירסון (Pearson): מודדת את עוצמת הקשר הלינארי בין שני משתנים (ערכים בין -1 ל-1).
• קורלציית ספירמן (Spearman): מודדת את הקשר המונוטוני בין שני משתנים (ערכים בין -1 ל-1).
• קורלציה קנונית (Canonical): לבחינת הקשר בין שתי קבוצות משתנים רבים.

רגרסיה לינארית

• שיטה לחיזוי ערך של משתנה תלוי בהתבסס על משתנים עצמאיים.

קבצי CSV

• פורמט טקסט פשוט, קל משקל יחסית.
• קל לטיפול וארגון.
• מאפשר ייבוא וייצוא של כמויות גדולות של נתונים.
• דורש טיפול מיוחד בערכים המכילים תווים מיוחדים (כמו פסיק, מירכאות).

קבצי JSON

• פורמט יעיל לתיאור נתונים מורכבים.
• פונקציות עיבוד JSON ב-Python (json.dumps, json.loads, json.dump, json.load) להתמרה בין JSON למחרוזת נתונים (ובחזרה) ובין JSON לקובץ, ולהיפך.

כלים לביצוע קלאסטרינג

• k-means: חלוקת נתונים לקבוצות על בסיס קירבה.
• k-means++: שיפור האלגוריתם על ידי שיפור בחירת הסנטרואידים הראשוניים.
• DBSCAN (Density-Based Spatial Clustering of Applications with Noise): מבוסס על צפיפות, לא על מרחק או סנטרואידים.

קלאסטרינג היררכי

• Divisive (top-down): מחלקים קבוצות גדולות לקטנות יותר.
• Agglomerative (bottom-up): מאחדים קבוצות קטנות לקבוצות גדולות יותר.

גרפים (ויזואליזציה)

• Bar Plot: משתנים קטגוריאליים - הצגת כמויות או תדירויות.
• Pie Chart: משתנים קטגוריאליים - הצגת החלק היחסי של כל קטגוריה.
• Histogram: משתנים כמותיים - הצגת התפלגות, זיהוי דפוסים.
• Box Plot: משתנים כמותיים - הצגת סיכום סטטיסטי (חציון, רבעונים).
• Violin Plot: משלב בין Box Plot ו-Kernel Density Plot.
• Kernel Density Plot: הצגת הערכת צפיפות של התפלגות.
• Scatter Plot: הצגת קשר בין שני משתנים כמותיים.

ויזואליזציה עם matplotlib ו-seaborn

• ספריות Python לויזואליזציה של נתונים.
• ניתן ליצור גרפים שונים כגון היסטוגרמות, תרשימי עוגה, תרשימי מקלות, תרשימי קופסה וגרפים אחרים.