Apprendimento delle Rappresentazioni in Reti Neurali

Questo strato decide quali valori aggiornare nello stato della cella.

Questo strato crea un vettore di nuovi valori candidati che potrebbero essere aggiunti allo stato della cella.

Il vecchio stato della cella viene moltiplicato per il fattore di oblio (ft) e poi sommato ai nuovi valori candidati (Ct) moltiplicati per il fattore di aggiornamento (it).

Questo strato decide quali parti dello stato della cella vengono prodotte in output.

Questo algoritmo viene utilizzato per addestrare reti LSTM, calcolando i gradienti per modificare i pesi in base all'errore nella rete.

Nel deep learning, una fase forward in una rete neurale consiste nel passaggio completo dell'input attraverso la rete. Ogni livello memorizza le informazioni necessarie per la fase backward.

Nella fase backward di una rete neurale, i gradienti vengono propagati all'indietro e i pesi vengono aggiornati. Ogni livello riceve un gradiente e ne restituisce uno altro.

Una rete neurale ricorrente (RNN) in grado di apprendere dipendenze a lungo termine, cioè di conservare informazioni per periodi di tempo più lunghi rispetto alle RNN tradizionali.

Un componente chiave delle reti LSTM, una struttura che memorizza le informazioni a lungo termine. Il cell state è una sequenza di vettori che vengono aggiornati in ogni passo temporale.

Meccanismi utilizzati nelle reti LSTM per controllare il flusso di informazioni nel cell state. Un gate è una funzione che può essere vista come un cancello che decide quali informazioni devono essere mantenute o eliminate.

Un gate LSTM che decide quali informazioni devono essere eliminate dal cell state.

Un gate LSTM che decide quali informazioni devono essere aggiunte al cell state.

Un gate LSTM che decide quali informazioni devono essere utilizzate per aggiornare l'output della rete.

Le reti neurali sono in grado di imparare rappresentazioni interne dei dati, chiamate ψ(x). Queste rappresentazioni sono utili perché possono rendere i modelli più espressivi e accurati. Possono anche essere trasferite da un compito all'altro.

Le reti neurali profonde imparano rappresentazioni a livelli diversi di astrazione. Gli strati inferiori, più vicini agli input, imparano rappresentazioni di basso livello (ad esempio, angoli, bordi). Gli strati superiori, più lontani dagli input, imparano rappresentazioni più astratte (ad esempio, forme, oggetti).

Le rappresentazioni distribuite si basano su gruppi di neuroni (ad esempio, nello stesso strato nascosto) per codificare le proprietà degli oggetti. Nessun neurone singolo codifica tutto da solo.

Un autoencoder è una rete neurale feed-forward che viene addestrata per riprodurre il proprio input all'uscita. Questo processo aiuta a imparare rappresentazioni interne che codificano bene la struttura latente dei dati di input.

Le reti neurali convoluzionali (CNN) sono reti neurali con una struttura di connettività specializzata. Sono particolarmente adatte per l'elaborazione di dati spaziali, come immagini o segnali audio.

Uno strato convoluzionale conserva la struttura spaziale dei dati di input. Applica filtri (kernel) a ogni posizione dell'input, generando una mappa di attivazione che rappresenta la presenza di determinate caratteristiche.

Il pooling è una tecnica utilizzata nelle CNN per ridurre la dimensione delle rappresentazioni e renderle più gestibili. I metodi di pooling più comuni includono il max pooling e l'average pooling.

Le CNN sono solitamente progettate con una serie di strati convoluzionali e pooling alternati. Gli strati convoluzionali estrarre caratteristiche locali, mentre gli strati di pooling riducono la dimensione delle rappresentazioni e aumentano la robustezza del modello.