חבילות נתונים בפייתון

חבילת Pandas

• חבילת פייתון לניתוח נתונים, המאפשרת עבודה יעילה עם טבלאות נתונים.

הרכשה ואחסון נתונים

• פורמטים לשמירת נתונים: CSV, JSON, Excel, ועוד.
• רכישה באמצעות API: שימוש ב-API לקבלת נתונים באופן אוטומטי.
• רכישה באמצעות Crawling ו-BeautifulSoup: לשליפה של נתונים מפלטפורמות אינטרנט.
• CSS: שפה לציון סגנון בדיפוי.

טיפול בנתונים

• נתונים וסוגי משתנים: נתונים מספריים, טקסטואליים, תאריכים ועוד.
• משתנים בדידים: משתנים עם מספר סופי של ערכים אפשריים.
• משתנים רציפים: משתנים שיכולים לקבל כל ערך בטווח מסוים.
• הסתברויות וקשרים בין משתנים: הבנת קשרים סטטיסטיים בין משתנים.
• נתונים חסרים: טיפול בנתונים חסרים בטבלאות כמו הוספה, הסרה או התאמת ערכים.
• כפילויות בנתונים: איתור וטיפול בכפילויות.
• נתונים חרגים: זיהוי וטיפול בנתונים שתואמים סטיות גדולות מהאוכלוסייה.
• המרה של סוגי נתונים: שינוי סוגי נתונים כגון שינוי מחרוזות למספרים.
• EDA (Exploratory Data Analysis): ניתוח מוקדם של נתונים כדי להבין את המאפיינים שלהם.

למידת מכונה

• סוגי למידת מכונה: למידה מונחית ולמידה לא מונחית.
• למידה מונחית: אלגוריתמים ליצירת מודלים על סמך נתוני אימון מאומתים.
  • רגרסיה לינארית: יצירת קשר לינארי בין משתנים.
  • רגרסיה לוגיסטית: ניבוי הסתברותית של משתנה בינארי.
  • KNN (K-Nearest Neighbors): מניבוי על סמך שכנים קרובים.
  • עץ החלטה: יצירת עץ לניבוי.
  • Naive Bayes: ניבוי הסתברותי.
  • רשתות עצביות: מודלים מורכבים ללמידה.
  • SVM (Support Vector Machines): למידה באמצעות וקטורים תומכים.
• למידה לא מונחית: אלגוריתמים הפועלים על נתונים ללא יעד מוגדר מראש.
  • K-Means: אלגוריתם קלאסטרינג.
  • קלאסטרינג היררכי: בניית עץ קלאסטרינג.
  • DBSCAN (Density-Based Spatial Clustering of Applications with Noise): אלגוריתם קלאסטרינג בהתבסס על צפיפות.

ניתוח טקסט

• ביטויים רגולריים: דפוסים לטקסט.
• המרה של טקסט למטריצה: המרת נתוני טקסט למטריצת נתונים.
• למידה מונחית על טקסט: שימוש בנתוני טקסט ללמידה מונחית.