זיהוי אובייקטים במחשבים

עיבוד תמונה - סיכום קורס

• נוצר סיכום לקורס עיבוד תמונה, על מנת להנגיש אותו לסטודנטים.
• הסיכום אינו כולל תרגולים, מכיוון שהם בעלי אופי מעשי.
• הסיכום מבוסס על הרצאות שנערכו בשנת 2023.
• אין בטוחה מלאה לגבי דיוק התוכן, והוא אינו תחליף להרצאות או תרגולים.

שיעור 0 - מבוא

• עיבוד תמונה הוא תחום העוסק ב-image processing ולוקח תמונה, מבצע עליה פעולות עיבוד והתוצאה היא תמונה משופרת או שונה.
• תחומי העבודה קשורים לראייה ממוחשבת, גרפיקה ממוחשבת ומידול גיאומטרי. לכן הם מגיעים כדרך אחרת להסתכל על אותה התמונה.
• ראייה ממוחשבת מורכבת יותר ולוקחת תמונה ומנסה להבין את תוכנה סמנטית.
• מידול גיאומטרי לוקח תמונה כמו עין אנושית ומבצע מניפולציה עליה עולם תלת-ממדי ולקבל תמונה חדשה.
• עיבוד תמונה היא רמה נמוכה יותר ודורשת ניתוח בסיסי של תמונה להכנתה לניתוח יותר מתקדם.

שיעור 1 - רכישת תמונה

• תמונה היא הטלה של סצנה תלת-ממדית למישור דו-ממדי.
• פונקציה שמתארת את תמונה f:R^2 → R, בכל נקודה (x,y) יש מדד לכמות האור.
• רכישת התמונה תלויה במצלמת החור ובחישוב זמן החשיפה.
• עדשות ממקדות את קרני האור למקום אחד.
• המרחק משפיע על הפוקוס, אז בעצם רק אזורים מסוימים של התמונה יהיו ברורים.
• עיבוד תמונה דיגיטלית נעשית בעזרת digitizer שיקלוט את הפוטונים.

שיעור 2 – היסטוגרמות

• היסטוגרמה היא גרף שמראה את הסטטיסטיקה של ערכים (בהירות / דרגות אפור) בתמונה.
• ממוצע התמונה הוא סכום כל הפיקסלים מחולק במספרם.
• contrast הוא ההבדל בין הבהירות המקסימלית למינימלית.
• שונות היא ממוצע ההפרש בין כל פיקסל לממוצע.
• היסטוגרמות אינן משמרות מיקומים.
• היסטוגרמה מקומית חישוב הסטטיסטיקה של חלון שנסמך על (x,y).
• מידע נוסף שאפשר לקבל מ ההיסטוגרמה: תוחלת, שונות ואנטרופיה.

שיעור 3 – פעולות נקודה

• פעולה נקודה היא פעולה על התמונה שמשפיעה על כל פיקסל באופן יחיד.
• פעולה מרחבית תלויה בסביבה של הפיקסל.
• פעולה גיאומטרית משפיעה על כל תמונה כולה ולא על פיקסל בנפרד.
• פונקציית מיפוי מוגדרת כאל מתקיימת על כל פיקסל ומופעלת בצורה תקינה.
• קיימות תוצאות שנוצרו ממתיחה או כיווץ של contrast וקודמו.
• קיימות פעולות נקודה כמו הנגטיב וה thresholding.
• חידוד / enhance edges הוא שיפור איכות התמונה.

שיעור 4 – פעולות גיאומטריות

• פעולה גיאומטרית היא פעולה על מיקום הפיקסלים בתמונה (לא על התכונות עצמן).
• forward mapping היא לקיחת כל פיקסל במקור ולמפות אותו ליעד. יכולה ליצור חורים.
• inverse mapping היא יצירת תמונה ריקה ליעד ולקחת מתוך התמונה המקורית את הצבע לנקודת היעד המתאימה.

שיעור 5 – פעולות מרחביות

• פילטר הוא פעולה שפועלת על הפיקסלים תוך התחשבות בסביבה.
• פעולת min / max יכולה לשמש להורדת רעש מלח פלפל.
• פילטר חציון יכול להוריד רעש מלח-פלפל ויעיל יותר מבחינה חישובית
• פילטר ממוצע יכול להוריד רעש, וגם טשטש.
• קונבולוציה הוא כלי יעיל, קבלת פילטר כמסכה.
• separable ניתן לחשב עם קונבולוציה על גבי עמודות / שורות.

שיעור 6 – התמרת פורייה

• טרנספורם פורייה עוברת למרחב התדר.
• טרנספורם הופך מידע מקומי למידע תדרי, ומייצג אותו כצירוף לינארי של פונקציות בסיס (סינוס, קוסינוס).
• כל פונקציות הבסיס משלבות גם אמפליטודה וגם פאזה.
• פונקציות הבסיס יכולות להיות בדידות או רציפות.
• קיים טרנספורם פורייה דו-ממדי, המרחיב את ה-1D ל-2D.
• טרנספורם פורייה ה(FFT) ניתנו לחישוב אופטימלי בזמן O(nlogn).

שיעור 7 – פעולות במרחב התדר

• ניתן להוריד רעש גאוסיאני באמצעות low pass (filtrring), כלומר לקחת את התדרים הנמוכים.
• ניתן לחדד תמונה באמצעות high pass filtering, כלומר לקחת רק את התדרים הגבוהים.
• ניתן להתמודד עם רעש במרחב התדר, ולהוריד רעש בתדרים ספציפיים באמצעות band pass / local frequency filter.
• ניתן להשתמש ב-fourier transform כדי להבין את מבנה הרעש בתמונה.

שיעור 8 פירמידות

• פירמידות גאוסיאן יורדות ברזולוציה (טשטוש) ומייצגות את התמונה ברמות שונות.
• פירמידות לאפלסיאן, שונות לפי טשטוש גאוסיאן.

שיעור 9 – זיהוי שפות

• edge detection באמצעות נגזרות (הראשונה לרוב) ,
• ניתן למציאת שפות.
• canny יכול להשלים פיקסלי שפה שנפספסו.

שיעור 10 - התאמת תמונה

• pattern matching בהשוואת צורות כמו shape representation
• נרצה להשתמש במדד דמיון יעיל כמו normalized correlation.
• זיהוי נקודות עניין על ידי feature detector כמו Harris

שיעור 11 – צבע

• מרחב RGB הוא מרחב צבעים שנותן ייצוג לצבעים כצירוף של שלושה ערוצים.
• קיימים מרחבי צבעים שונים, כמו YIQ ו-CMYK, עם תכונות שונות.
• ניתן לעשות סגמנטציה בצבעים על ידי consideration של ה-lightness וגם ה-saturation.

נספח - הוכחה שבסיס פורייה אורתונורמלי

• ההוכחה מראה שפונקציות הבסיס של טרנספורם פורייה הם אורתונורמליות (התכונות שציינו).
• בהוכחה משתמשים ב סכום הסדרה ההנדסית.

נספח - סגמנטציה

• סגמנטציה היא תהליך חלוקת תמונה לאזורים תמונה.
• שיטת snakes היא שיטה עיקרית, וחשובת לקיחת אוסף נקודות בתמונה ליצירת עקומה אקטיבי שמתאימה לצורת שפה.
• עקומה צהובה שתלויה בסביבה ואזורים סביב פיקסלים שאנחנו רוצים ויש 2 tradeoffs – אחד לעקמומיות והשני לחלקות.