Clasificarea multiclasă a animalelor

Curs 1. Introducere

• Tehnicile de învățare automată sunt utilizate pentru a învăța un calculator prin input disponibil
• Învățarea presupune conversia experienței în expertiză sau cunoștințe
• Inputul unui algoritm de învățare sunt datele de antrenare (experiența)
• Outputul este expertiza, sub formă de program care realizează sarcini specifice
• Învățarea automată este domeniul care dă calculatoarelor abilitate de a învăța fără a fi programate explicit.
• Problemă de învățare „bine-pusă”: un program învață din experiență (E) raportată la o sarcină (T) și o măsură de performanță (P), dacă performanța (P) la sarcină (T) măsurată se îmbunătățește odată cu experiența (E).

Cuprins

• Generalități
• Tematică și definiții
• Ce este învățarea?
• Utilitate
• Tipuri de învățare
• Algoritm de învățare
• Învățare supervizată

Exemplu

• Program ce monitorizează mail-urile ca spam și învață să le filtreze
• Sarcina: clasificarea mail-urilor ca spam sau non-spam.
• Experiența: etichetarea mail-urilor ca spam sau non-spam.
• Măsura performanței: numărul (sau procentul) de mail-uri corect clasificate ca spam/non-spam.

Ce este învățarea?

• Şobolanii învață să evite mâncarea otrăvită.
• consumul ulterior depinde de gust și de efectele fiziologice
• dacă hrana produce stări de rău, consumul ulterior va fi evitat.

Raționament inductiv

• Abilitatea de a eticheta mail-urile pe care algoritmul nu le-a mai întâlnit.
• Un algoritm de învățare de succes ar trebui să poată generaliza mai larg.

Superstiția porumbeilor

• Experiment cu porumbei care primesc hrană la intervale fixe de timp.
• A fost observat un comportament de asociere, neexistând o relație cauzala.

Overfitting vs. underfitting

• Overfitting: Modelul învață prea bine detaliile și particularitățile datelor de antrenament, inclusiv zgomotul și anomaliile.
• Underfitting: Modelul este prea simplu pentru a surprinde tiparele datelor.

Utilitate

• Complexitatea problemei
• Sarcini realizate de oameni/animale.
• Sarcini ce depășesc capacitatea umană.
• Nevoia de adaptabilitate

Tipuri de învățare

• Taxonomia paradigmelor de învăţare.
• Învăţare activă vs. pasivă.
• Ajutorul de la instructor

Lot de antrenament vs. învățare online

• Entitatea care învață trebuie să folosească expertiza pe parcursul antrenamentului.
• Entitatea care învață folosește expertiza acumulată abia după ce a procesat un volum mare de date.

Învăţare supervizată vs. nesupervizată

• Supervizată: Experiența conţine informații semnificative absente din exemplele de test
• Nesupervizată: Nu există distincție între datele de antrenament și cele de test.

Componentele unui algoritm de învățare

• Modelul
• Evaluare performanței
• Optimizare

Regresie liniară

• Reprezentarea ipotezei
• Evaluarea performanței
• Optimizarea parametrilor

Regresie logistică

• Evitarea utilizării regresiei liniare
• Valoarea lui y poate fi 0 sau 1
• Funcția sigmoid
• Funcția logistică

Funcția sigmoid

• Reprezentarea grafică a funcției

Asumpții și notații

• Probabilitatea ca ieșirea y, codiționată de instanța x, parametrizată de 0, să fie 1
• Probabilitatea ca ieșirea y, codiționată de instanța x, parametrizată de 0, să fie 0

Estimarea verosimilității maxime

• Maximizarea unei funcții de verosimilitate.

Clasificarea multi-clasă

• Considerăm o problemă de clasificare în care variabila răspuns y poate lua k valori, y ∈ {1, 2, . . ., k}.
• Eticheta este tot discretă, dar poate lua mai mult de două valori.
• Modelăm y ca fiind distribuită în acord cu o distribție multinomială.
• Folosim funcția softmax.

Algoritm de învățare cu perceptron

• Importanță mai degrabă istorică.
• Funcția de decizie
• Actualizarea parametrilor

Provocări ale clasificării

• Dificultatea de a separa clasele.

Probleme de optimizare

• Dificultatea de a găsi soluții optimale.

Recapitulare

• Clasificarea eficientă depinde de alegerea caracteristicilor potrivite.
• Modelul rafinat îmbunătățește acuratețea în identificarea reptilelor.

Curs 4. Overfitting. Regularizarea funcției cost

• Overfitting, care înseamnă că un model devine prea specific pentru setul de date pe care a fost antrenat, nefiind capabil să generalizeze bine pentru date noi.
• Regularizarea funcției cost, care este o abordare pentru reducerea acestui fenomen prin penalizarea coeficienților funcției cost.

Algoritmi cu vectori suport. Support vector machines

• SVM sunt considerați printre cei mai buni algoritmi
• Se mapează setul de caracteristici
• Problema reformulată în noul spațiu de caracteristici

Clasificatori cu margine optimală

• Clasificarea binară
• Corectitudinea și siguranța predicției

Margine geometrică

• Clasificator liniar care separă clasele
• Ne interesează distanțele

Margine funcțională

• Măsoară gradul de încredere cu care se realizează fiecare predicție

Problema de optim

• Scopul este maximizarea marginii geometrice

Convexitate

• O funcție f: R n → IR este convexă dacă
• O mulțime C ∈ R n este convexă dacă

Problema de optimizare duală

• Rescriem problema de optimizare
• Se rezolvă problema de optim și se obțin coeficienții

Funcții kernel

• Scriem algoritmul în termenii produsului scalar
• Considerăm un operator K

Exemple de funcții kernel

• Demonstrăm că funcția kernel
• Demonstrăm că funcția kernel

Proprietăți ale funcţiilor kernel

• Algoritmi nu au nevoie
• Trebuie doar să asigurăm
• Ce fel de funcții K(, ) pot corespude unei anume aplicații Φ?
• Măsura similarității
• Alegem funcția kernel

SVM cu margine nestrictă

• Lagrangianul

Clasificarea multi-clasă

• considerăm o problemă
• eticheta este tot discretă

Rețele neuronale

• Rețea cu mai multe straturi de neuroni
• Neuronii care nu sunt interconectați
• Un strat este un cluster
• Stratul cel mai apropiat de date

Ecuații de propagare

• Propagarea informației în reţea
• Stratul 1
• Stratul 2

Optimizarea parametrilor

• Parametri de optimizat
• Funcția obiectiv
• Actualizarea parametrilor

Propagarea înapoi

• Derivarea este o operație liniară
• Explicităm acești factori

Adaptarea rețelelor

• Normalizarea intrărilor
• Datele de intrare se centrează
• Rețeaua se va satura mai greu

Curs 11. Rețele neuronale convoluționale