Apprendimento Statistico - Note sul Corso

Un classificatore è una funzione che assegna un'etichetta di classe a un oggetto in base alle sue caratteristiche osservate. In altre parole, si cerca di determinare a quale categoria un oggetto appartiene.

La Loss è una funzione che misura la differenza tra la previsione fatta dal classificatore e la classe reale dell'oggetto. Maggiore è la differenza, maggiore è la perdita.

La Loss 0/1 è una funzione che restituisce 1 se la previsione del classificatore è errata e 0 se la previsione è corretta. In sostanza, conta il numero di errori del classificatore.

L'Expected Prediction Error (EP E) è il valore atteso della Loss. Rappresenta la qualità complessiva del classificatore, tenendo conto della distribuzione delle possibili perdite.

Utilizzare il classificatore addestrato su un insieme di dati di training per fare previsioni su nuovi dati non visti durante l'addestramento.

Il Machine Learning è un ramo dell'intelligenza artificiale che utilizza metodi matematici e informatici per creare modelli predittivi e verificatori di ipotesi dai dati.

Nell'approccio predittivo si cerca di prevedere risultati futuri o valori non osservati sfruttando le relazioni tra le variabili nei dati esistenti.

Nell'approccio esplicativo si mira a comprendere le relazioni tra le variabili con lo scopo di ottenere informazioni sulle cause e gli effetti.

La Classificazione è un problema di apprendimento automatico dove l'obiettivo è prevedere a quale classe appartiene un dato oggetto in base alle sue caratteristiche.

In un problema di classificazione a due classi, le classi sono generalmente etichettate come 0 e 1, o come +1 e -1. La classe positiva è quella che è di interesse nell'analisi.

L'insieme Y rappresenta l'insieme di tutte le possibili classi a cui possono appartenere gli oggetti.

Un vettore di variabili casuali, X = (X1, ..., Xp), rappresenta l'intero insieme di caratteristiche o variabili che descrivono un oggetto.

Il problema della classificazione si basa sulla predizione della classe a cui appartiene un oggetto in base alle sue caratteristiche, che sono rappresentate dal vettore X.

La matrice di varianze-covarianze non distorta è una misura della variabilità e della covariazione tra le variabili di un insieme di dati. Viene utilizzata per descrivere la dispersione e la relazione tra le variabili.

La dispersione si riferisce alla variabilità di una variabile, mentre la direzione si riferisce alla relazione tra due o più variabili. Ad esempio, la dispersione di un'altezza può essere misurata dalla sua deviazione standard, mentre la direzione della relazione tra altezza e peso può essere misurata dalla covarianza.

Le trasformazioni lineari sono operazioni matematiche che cambiano le variabili in un nuovo spazio. In Rp, significa che le variabili vengono trasformate in un nuovo sistema di coordinate.

Una variabile casuale normale multivariata è una variabile vettoriale che segue una distribuzione normale. In altre parole, la variabile è composta da diverse variabili casuali che sono distribuite normalmente.

Una variabile casuale normale multivariata standard è una variabile multivariata in cui tutte le variabili hanno una media di 0 e una deviazione standard di 1.

I density countours sono le linee che tracciano i punti che hanno la stessa densità di probabilità. Sono utili per visualizzare la forma della distribuzione di una variabile casuale normale multivariata.

La distanza di Mahalanobis è una misura della distanza tra due punti in uno spazio multivariato, tenendo conto della covarianza tra le variabili. È una misura robusta che tiene conto della forma e della rotazione della distribuzione.

L'analisi discriminante lineare (LDA) è un metodo di classificazione che utilizza una funzione lineare per separare due o più gruppi di dati. L'obiettivo è quello di trovare un iperpiano che massimizza la separazione tra le classi.

La variabile casuale Bernoulliana, detta anche variabile di Bernoulli, è una variabile discreta che può assumere solo due valori: 0 o 1. Il valore 1 rappresenta il successo di un evento, mentre il valore 0 rappresenta il fallimento. La probabilità di successo è rappresentata da p, mentre la probabilità di fallimento è rappresentata da 1-p.

Il classificatore ottimale di Bayes è un classificatore che minimizza il rischio di errore di classificazione. In altre parole, è un classificatore che, dato un nuovo esempio, assegna l'etichetta che massimizza la probabilità di essere corretta.

Il modello Bernoulliano-Logistico Lineare è un modello di classificazione che utilizza una funzione logistica per prevedere la probabilità di appartenenza a una classe, basandosi su una combinazione lineare delle variabili indipendenti. Questo modello è ampiamente utilizzato in vari ambiti, dalla medicina all'analisi del marketing.

La stima del parametro β̂ nel modello Bernoulliano-Logistico Lineare viene realizzata attraverso la massima verosimiglianza (Maximum Likelihood). Questo metodo cerca di trovare i valori del parametro che massimizzano la probabilità di osservare i dati disponibili.

L'errore in-sample è la percentuale di esempi nel set di dati di training che sono classificati erroneamente dal modello. Questo valore fornisce una misura della performance del modello sul set di dati con cui è stato addestrato.

La regressione logistica per i problemi multi-class è un'estensione della regressione logistica binaria per gestire situazioni con più di due classi. Questo metodo prevede la creazione di più modelli, uno per ogni classe, e l'assegnazione dell'etichetta alla classe con la probabilità più alta.

Il modello Bernoulliano Generalizzato-Logistico, anche noto come Multinomial Logit, è un'estensione del modello Bernoulliano-Logistico per gestire situazioni con più di due classi. Questo modello utilizza una funzione soft-max per prevedere la probabilità di appartenenza a ciascuna classe.

Il tasso di errore di Bayes (BER) rappresenta il tasso di errore minimo possibile per un classificatore, assumendo che la distribuzione di probabilità dei dati sia nota.

Il rischio condizionato corrisponde al valore atteso della Loss per un dato input X.

Il rischio incondizionato corrisponde al valore atteso della Loss su tutti gli input possibili.

La Legge delle Aspettative Iterate afferma che il valore atteso della Loss può essere calcolato considerando il valore atteso della Loss condizionata per ogni input X.

Il classificatore di Bayes è il classificatore ottimale che minimizza il rischio incondizionato, ovvero il tasso di errore.

Il classificatore di Bayes sceglie la classe con la probabilità a posteriori più alta per un dato input, ovvero la classe più probabile dato l'input.

Il BER nel caso di classificazione binaria è calcolato come minimo tra η(X) e 1 - η(X), dove η(X) è la probabilità a posteriori della classe positiva per un dato input X.

Il rischio atteso (o errore condizionato) è la misura di quanto ci si aspetta di sbagliare quando si predizione Y usando solo le informazioni di X. Si calcola come la media della perdita per ciascuna possibile coppia Y e Ŷ (x).

Le probabilità posteriori sono le probabilità di appartenere a una classe data la conoscenza delle 'features' (caratteristiche) di un elemento. Descrivono la probabilità che un elemento appartenga a una classe specifica dato ciò che sappiamo di esso.

Il Classificatore Bayesiano è una regola di classificazione che usa le probabilità posteriori per assegnare un'etichetta (0 o 1 in questo caso) a un elemento. Assegna 0 se la probabilità posteriore di classe 0 è maggiore di 1/2, altrimenti assegna 1.

La Loss (perdita) è una funzione che misura il costo di prendere la decisione sbagliata. In questo caso, la Loss è 1 se la predizione è sbagliata e 0 se è corretta.

La superficie di separazione è una linea immaginaria che divide lo spazio delle 'features' in due regioni. Ogni regione corrisponde a una classe specifica. Gli elementi che cadono da una parte della linea vengono classificati in una classe, mentre quelli che cadono dall'altra parte vengono classificati in un'altra classe.

La frontiera di decisione è la superficie di separazione che divide lo spazio delle 'features' in due regioni. Gli elementi che cadono nella stessa regione sono classificati nella stessa classe.

I punti misclassificati sono gli elementi che vengono classificati in una classe sbagliata. Sono i punti che cadono dalla parte sbagliata della superficie di separazione.