Neuroscienze e Reti Neurali Artificiali

Podcast

Play an AI-generated podcast conversation about this lesson

Questions and Answers

Qual è una delle caratteristiche principali delle reti neurali artificiali?

Si basano completamente su algoritmi di machine learning.

Richiedono una quantità minima di dati per l'addestramento.

Sono utilizzabili solo per problemi di regressione.

Possono essere usate per problemi di classificazione e regressione. (correct)

Da cosa è composto il cervello umano in termini di neuroni?

Circa 100 miliardi di neuroni. (correct)

Circa 100 milioni di neuroni.

Circa 1 miliardo di neuroni.

Circa 10 miliardi di neuroni.

Qual è l'obiettivo principale degli esperimenti con neuroni artificiali nel campo della cibernetica?

Sviluppare software per risolvere problemi matematici complessi.

Costruire cervelli artificiali per comprendere meglio il cervello degli esseri viventi. (correct)

Studiare il comportamento di macchine digitali.

Costruire robot in grado di camminare autonomamente.

Qual è il nome della prima rete neurale artificiale sviluppata da Frank Rosenblatt?

Perceptron. Signup and view all the answers

Quale affermazione riguardante il neurone biologico è corretta?

Il neurone accumula segnali fino a raggiungere una certa soglia prima di attivarsi. Signup and view all the answers

Qual è il ruolo dei neuroni negativi nel sistema descritto?

Escludere altre cifre Signup and view all the answers

Cosa rappresenta l'iper-parametro λ nel processo di aggiornamento dei pesi?

Learning rate Signup and view all the answers

Qual è il primo passo nell'algoritmo di aggiornamento dei pesi nel percettrone?

Inizializzare i pesi in modo casuale Signup and view all the answers

Cosa accade quando l'errore è pari a zero nel processo di aggiornamento dei pesi?

Non ci sono aggiornamenti dei pesi Signup and view all the answers

Quale delle seguenti affermazioni è corretta riguardo al peso wj durante l'aggiornamento?

Rimane invariato quando l'output è corretto Signup and view all the answers

Qual è la condizione per cui la classe Y è 1 nel percettrone?

Se almeno due degli attributi X sono 1 Signup and view all the answers

Qual è la formula utilizzata per calcolare Y nel percettrone?

Y = sign(0.3 * X1 + 0.3 * X2 + 0.3 * X3 - 0.4) Signup and view all the answers

Cosa rappresenta la funzione 'sign()' nella formula del percettrone?

La classificazione in base a una soglia Signup and view all the answers

Nel modello del percettrone, cosa rappresentano i termini 0.3 nelle equazioni?

I pesi associati agli attributi di input Signup and view all the answers

Qual è il risultato della funzione Y quando gli input sono X1 = 1, X2 = 0 e X3 = 1?

1 Signup and view all the answers

Quali dati sono utilizzati nell'esempio del percettrone?

Immagini di cifre del dataset MNIST Signup and view all the answers

Cosa accade quando tutti e tre gli attributi X sono 0 nel percettrone?

Y assume valore -1 Signup and view all the answers

Quale affermazione descrive meglio il ruolo della 'black box' nel percettrone?

E' dove si sommano i pesi degli input Signup and view all the answers

Study Notes

Reti Neurali Artificiali

Le reti neurali artificiali sono modelli predittivi, usate per problemi di classificazione e regressione.
Sono basate sul funzionamento del cervello umano, composto da circa 100 miliardi di neuroni.
Ogni neurone ha una funzione elementare.
Il gran numero di neuroni e connessioni genera l'intelligenza umana.

Il Neurone Biologico

Il neurone somma i segnali provenienti dai dendriti.
"Spara" un impulso dagli assoni quando supera una certa soglia.

Il Vero Neurone Biologico

Composto da: dendriti, corpo cellulare, assone, sinapsi, vescicole sinaptiche, fessura sinaptica, mielina, ecc.

Cibernetica

I primi esperimenti con neuroni artificiali si sono sviluppati nel campo della cibernetica.
L'obiettivo era costruire cervelli artificiali per comprendere meglio il funzionamento del cervello umano.
Sono macchine analogiche, non digitali.
Esempi includono Elmer ed Elsie (1948) di W. Grey Walter.

Nascita del Percettrone

Nel 1957, Frank Rosenblatt creò il percettrone, la prima rete neurale artificiale.
Il New York Times del 1958 anticipò le potenzialità dell'informatica in relazione all'intelligenza artificiale.

Il Percettrone

Unità fondamentale di una rete neurale.
Input (X): sono molteplici.
Pesi (W): sono molteplici e variano in funzione degli input.
Funzione di attivazione: determina l'output.
Output (Y): calcolato tramite una funzione di attivazione.

Percettrone: Un Esempio

Il percettrone classifica le istanze basandosi su attributi (X₁) .
La classe è 1 se almeno due dei tre attributi X sono 1, altrimenti è -1.

Percettrone: Altro Esempio

Insieme di dati MNIST: immagini di cifre con risoluzione 28 x 28 pixel.
Un neurone per ogni cifra target.
Pesi (w) associati ai pixel.
Alcuni pesi positivi: per l'attivazione con la cifra corretta.
Alcuni pesi negativi: per escludere altre cifre.

Come si Stabiliscono i Pesi?

Inizializzazione casuale dei pesi.
Calcolo dell'output del percettrone per ogni istanza di addestramento.
Aggiornamento dei pesi in base all'errore commesso.
Iterazione del processo finché non si raggiunge una condizione di stop.

Esempio di Apprendimento

Esempio numerico di come i pesi delle reti neurali vengono aggiornati durante il processo di apprendimento.

Capacità del Percettrone

Il percettrone può risolvere problemi linearmente separabili.
Fallisce in problemi non linearmente separabili (esempio XOR).

Capacità del Percettrone (2)

Esempio di problema non linearmente separabile (XOR).

Quanto Funziona in Pratica?

Il tasso di errore nel riconoscimento delle immagini MNIST è del 12%.
Si possono ottenere risultati migliori con reti multistrato.

Reti Multistrato e XOR

Le reti multistrato possono risolvere problemi non linearmente separabili.

Apprendimento con Reti Multistrato

La regola di apprendimento del percettrone.
Come determinare l'errore nei nodi interni ?
Influenza delle modifiche nei nodi interni sull'errore complessivo.
Eventuale mancata convergenza.

Il Primo Inverno delle Reti Neurali

Pubblicazione del libro “Perceptrons” (Minsky e Papert, 1969): analisi dei limiti e dei fallimenti del percettrone convenzionale.
Descrizione dei limiti del percettrone, in particolare con problemi non linearmente separabili, come il problema XOR.

Rinascita (1982-1993)

Introduzione dell'algoritmo di back-propagation (Werbos, 1974; Rumelhart e Hinton, 1986).
Possibilità di addestrare reti neurali con più strati.
Altri sviluppi: Reinforcement Learning.
Esempi: TD-gammon (1995).

Funzioni di Attivazione

Introduzione di funzioni di attivazione più complesse rispetto alla funzione a gradino, come la funzione sigmoide o tangente.

Algoritmo di Back-Propagation

Descrizione dell'algoritmo dettagliato.
Funzione di errore per determinare la distanza tra i dati desiderati e quelli effettivamente prodotti dalla rete neurale.
Esempio di funzione di errore.

Minimi Locali

Il metodo di discesa del gradiente potrebbe rimanere bloccato in minimi locali.

Reti Feed-forward

Definizione delle reti feed-forward profonde e superficiali.

Disegno di una Rete Feed-forward

Caratteristiche da considerare per disegnare una rete feed-forward: numero nodi di input/output, strati nascosti, pesi iniziali, learning rate.

Il Secondo Inverno (1994-2006)

Problemi con la back-propagation in reti profonde (problema del "vanishing gradient").
Restrizioni nell'applicabilità di questo metodo.

Gli Irriducibili

Alcuni ricercatori continuano a lavorare sulle reti neurali, soprattutto grazie a finanziazioni e centri di ricerca, (es. CIFAR).
Popolarizzazione del termine Deep Learning.

Deep Learning (1)

Funzione di perdita (cross-entropy).
Funzione di attivazione ReLU (Rectified Linear Unit).
Tecniche di inizializzazione dei pesi (pre-training).

Deep Learning (2)

Tecniche per evitare l'overfitting.
Reti neurali convoluzionali (per immagini).
Tecnica del dropout.

Dopo il 2006 (1)

Ottimi risultati conseguiti in campo di riconoscimento di cifre scritte a mano (MNIST).
Riconoscimento vocale.
Riconoscimento di immagini.
Traduzione in tempo reale (Skype).

Dopo il 2006 (2)

Sviluppi in apprendimento per compiti complessi (Atari Breakout, AlphaGo, AlphaGo Zero).

Perché Accade Adesso?

Legge di Moore: prestazioni elevate a basso costo hardware.
Schede grafiche (GPU): maggiore capacità computazionale.
Big Data: quantità di dati sempre maggiore per addestrare le reti neurali.

Vantaggi delle Reti Neurali

Capacità di approssimare funzioni complesse.
Gestione di attributi irrilevanti e ridondanti.
Apprendimento di interazioni complesse tra attributi.

Svantaggi delle Reti Neurali

La fase di apprendimento è spesso lenta.
Non adatta a dati con attributi mancanti.
I pesi della rete sono difficilmente interpretabili.
Rischio di overfitting e di rimanere bloccato in minimi locali.

Studying That Suits You

Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

Description

Metti alla prova le tue conoscenze sulle reti neurali artificiali e il funzionamento del cervello umano. Questo quiz copre vari aspetti, dalla struttura dei neuroni alla storia delle reti neurali. Scopri quanto ne sai in questo affascinante campo della cibernetica.