Machine Learning Classificazione e Paradigmi

L'apprendimento statistico rappresenta la base statistica del Machine Learning. Il Machine Learning è un sottocampo dell'intelligenza artificiale che usa metodi provenienti da diversi ambiti come la matematica e l'informatica per creare sistemi che imparano dai dati.

Il problema di classificazione cerca di prevedere a quale categoria appartiene un dato oggetto basandosi sulle sue caratteristiche.

Un esempio di classificazione è la previsione del genere di una persona in base al nome. Un semplice classificatore potrebbe assegnare 'M' se il nome finisce in 'o', altrimenti 'F'.

Il problema di classificazione si basa su due tipi di conoscenza: la conoscenza indipendente dal dominio e la conoscenza specifica del dominio.

La conoscenza indipendente dal dominio include strumenti come la programmazione, l'ottimizzazione e l'analisi esplorativa dei dati (EDA).

La conoscenza specifica del dominio comprende la conoscenza specifica del problema e la visione generale del problema stesso. È la comprensione profonda del problema.

In un problema di classificazione a due classi, le categorie vengono indicate come 0 e 1 o come +1 e -1. La classe positiva è quella definita dal problema.

Il classificatore è una funzione che prende in input le caratteristiche di un oggetto e restituisce una classe. L'obiettivo è che il classificatore assegni le classi correttamente.

La Loss 0/1 è una funzione che misura la perdita quando un classificatore assegna una label errata a un'istanza. Assume il valore 1 se l'etichetta predetta dalla macchina (Ŷ ) è diversa dalla vera etichetta (yi), 0 altrimenti.

Nell'apprendimento automatico, l'Expected Prediction Error (EP E) è il valore atteso della Loss, ovvero la media della perdita su tutte le possibili istanze. Misura la capacità di un classificatore di generalizzare a nuovi dati.

La Misclassification Rate è il numero di istanze misclassificate rispetto al numero totale di istanze. È un caso particolare di Loss media quando si usa la Loss 0/1.

Una variabile casuale (V.C) Bernoulliana è una V.C discreta che può assumere solo due valori, tradizionalmente 0 e 1, dove 1 rappresenta il successo. La probabilità di successo è indicata da η.

La probabilità di successo nella V.C Bernoulliana, ovvero η, è uguale alla probabilità di ottenere un valore di 1.

La successione {Z1,...Zn} indica un insieme di n variabili casuali Bernoulliane indipendenti, cioè ogni variabile casuale è indipendente dalle altre.

La varianza di una V.C Bernoulliana è data dal prodotto tra la probabilità di successo (η) e la probabilità di insuccesso (1-η).

La Legge dei Grandi Numeri afferma che, al crescere del numero di tentativi (n), la media campionaria di una variabile casuale si avvicina sempre di più al valore atteso della variabile casuale.

La funzione indicatrice I{X ≥ 0} assume valore 1 se l'evento X ≥ 0 è verificato, altrimenti assume valore 0. Trasforma la variabile X in una variabile dicotomica (0 o 1).

L'aspettativa di una funzione di una variabile casuale condizionata a un'altra variabile casuale è uguale alla funzione moltiplicata per l'aspettativa della variabile casuale condizionata.

L'aspettativa dell'aspettativa condizionata di una variabile casuale Y rispetto a una variabile casuale X è uguale all'aspettativa di Y.

Il classificatore ottimale di Bayes, Y*(X), è il classificatore che minimizza la perdita condizionata per ogni punto x (la sua previsione è la migliore data l'informazione disponibile).

Nel problema di classificazione a due classi, si cerca di prevedere a quale classe (0 o 1) appartiene un dato oggetto dato il suo vettore di caratteristiche. La probabilità di appartenere a una classe (0 o 1) dato un vettore di caratteristiche è nota come probabilità a posteriori.

Dato che le probabilità a posteriori sono note, il classificatore Bayesiano assegna l'oggetto alla classe 1 se la probabilità a posteriori η(X) è maggiore di 1/2, altrimenti alla classe 0.

Nel classificatore Bayesiano, se η(X) è maggiore di 1/2, l'oggetto viene assegnato alla classe 1; se η(X) è minore di 1/2, l'oggetto viene assegnato alla classe 0.

La Loss (o perdita) rappresenta l'errore di un classificatore. Viene calcolata come 1 se la classe prevista (Ŷ) è diversa dalla classe reale (Y), e 0 se sono uguali.

La Loss può essere scomposta in due componenti, ognuna che rappresenta un errore di classificazione. Una componente per la classe 0 e una per la classe 1.

Il classificatore ottimale minimizza l'errore condizionato per ogni valore di X. In altre parole, cerca di prevedere la classe corretta per ogni dato punto.

La probabilità di avere la classe Y=1 dato X è rappresentata da η(X). E' un valore tra 0 e 1.

Se η(X) è minore di 1/2, il classificatore dovrebbe assegnare la classe 0. Se η(X) è maggiore o uguale a 1/2, il classificatore dovrebbe assegnare la classe 1.

Il classificatore divide lo spazio di input in due regioni, una per i positivi e una per i negativi. La linea che separa queste regioni è chiamata decision boundary.

I punti che sono classificati erroneamente, ovvero quelli che hanno un colore diverso dalla loro regione, sono chiamati punti misclassificati.

Il Bayes Error Rate (BER) è la probabilità di errore minima che si può raggiungere utilizzando un classificatore ottimale.

Il rischio incondizionato è uguale al valore atteso del rischio condizionato, calcolato per ogni possibile valore della variabile predittiva.

Il rischio condizionato è il rischio calcolato per un determinato valore della variabile predittiva.

Nel problema multiclass, la loss 0/1 misura la perdita quando la classe predetta dal classificatore è diversa dalla classe reale.

Il classificatore di Bayes ottimale nel problema multiclass è quello che minimizza la loss 0/1 media, scegliendo la classe con la probabilità a posteriori più alta.

Il rischio condizionato del classificatore Bayesiano in corrispondenza di un punto x è dato da 1 meno il massimo dei posterior calcolati in x.

Il BER sotto la Loss 0/1 nel problema multiclass è la probabilità media di errore che si verifica usando il classificatore di Bayes.

Per calcolare il classificatore di Bayes ottimale, è necessario conoscere la distribuzione congiunta della variabile indipendente X e della variabile dipendente Y.

Il calcolo analitico del rischio atteso è spesso irrealizzabile, quindi si utilizzano metodi alternativi per costruire il classificatore.