Inferenza Causale per Data Science

Ecco gli appunti di studio dettagliati:

Introduzione

• Cresce la domanda di Data Scientist Specialist con competenze avanzate.
• Le aziende cercano professionisti capaci di affrontare sfide complesse.
• I colloqui rigorosi sono fondamentali per identificare candidati competenti.
• È necessario approfondire la complessità delle metodologie avanzate della scienza dei dati.

Inferenza Causale

• Comprendere i concetti fondamentali è cruciale per un Data Scientist esperto.
• L'inferenza causale aiuta a interpretare i modelli e a spiegare il perché degli eventi.
• Determina le ragioni alla base delle correlazioni e come manipolare i fenomeni.
• Aziende usano l'analisi dei dati per ottenere nuove intuizioni e prendere decisioni strategiche.

Metodi per Stimare Effetti Causali

• La stima dell'Effetto Medio del Trattamento (ATE) è usata nei modelli di intelligenza artificiale causale.
• L'ATE è la differenza media negli esiti tra gruppi trattati e non trattati.
• Tecniche econometriche come i modelli a due stadi ai minimi quadrati (2SLS) sono rilevanti.

Progettazione di Esperimenti Causali

• La capacità di progettare esperimenti causali è un'abilità distintiva.
• Importante testare l'impatto di iniziative su metriche chiave evitando problemi.
• Richiede comprensione delle variabili confondenti e dei meccanismi di effetto.

Grafici Aciclici Diretti (DAG)

• Essi svolgono un ruolo cruciale nella rappresentazione del ragionamento causale nell'IA causale.
• Questi modelli grafici probabilistici delineano le relazioni causa-effetto tra le variabili.
• Forniscono un quadro deterministico e probabilistico per l'analisi causale.
• La comprensione dei DAG è essenziale per costruire e validare i modelli.

Do-Calculus

• Il "do-calculus" è un metodo per identificare e misurare l'effetto causale di specifiche azioni.
• Strumento matematico che manipola formalmente i DAG per rispondere a domande causali distinguendo tra osservazione e intervento.
• Fondamentale per quantificare l'impatto di un'azione specifica.

Scuole di Pensiero sull'Inferenza Causale

• Metodi econometrici, modelli causali di Rubin e DAG di Judea Pearl.
• Sottolineano la necessità di applicazione in scenari specifici, in particolare nel caso in cui i test A/B falliscono.
• È importante valutare la congruenza della comprensione delle ipotesi necessarie per testare la validità di un framework di progettazione.

Analisi Bayesiana

• La comprensione del teorema di Bayes è fondamentale.
• Fornisce un modo per calcolare la probabilità condizionata di un evento basandosi su conoscenze pregresse e nuove evidenze.
• Componenti chiave sono la probabilità a priori (prior), la verosimiglianza (likelihood) e la probabilità a posteriori (posterior).
• Il teorema di Bayes è espresso come P(A|B) = P(B|A) * P(A) / P(B).

Statistiche Bayesiane vs. Frequentiste

• Le statistiche bayesiane esprimono un grado di credenza.
• Le statistiche frequentiste quantificano solo gli eventi, non le ipotesi.
• Entrambi gli approcci hanno applicazioni specifiche.

Utilizzo dell'Inferenza Bayesiana

• Consente di aggiornare le probabilità di un'ipotesi in base alle nuove evidenze.
• Alcune applicazioni includono la previsione se un progetto finirà in tempo.
• Si utilizzano anche più campioni di sangue per diagnosticare malattie o impiegando un filtro antispam.

Distribuzioni a Priori

• Svolgono un ruolo cruciale nell'analisi bayesiana.
• Possono essere informative o progettate per impatto minimo sul risultato a posteriori.
• La scelta della prior influenza la distribuzione a posteriori, specialmente con dati scarsi.

Calcoli Bayesiani di Base

• È una competenza fondamentale che include l'applicazione del teorema di Bayes.
• Eseguire i calcoli aiuta a quantificare l'incertezza e prendere decisioni informate.

Modelli Grafici Probabilistic

• Sono un framework potente per rappresentare e ragionare su distribuzioni multivariate complesse.
• Le reti bayesiane sono grafici aciclici diretti con dipendenze probabilistiche, mentre le reti di Markov sono grafici non diretti con funzioni potenziali.

Componenti Chiave dei PGM

• I nodi rappresentano variabili casuali, gli archi indicano relazioni probabilistiche (diretti o non diretti).
• Nelle reti bayesiane un arco da A a B indica l'influenza diretta di A su B.

Inferenza e Apprendimento dei PGM

• L'inferenza calcola le probabilità di interesse date alcune evidenze e include diversi algoritmi come l'eliminazione di variabili e la propagazione delle credenze.
• L'apprendimento stima i parametri del modello dai dati.

Applicazioni dei Modelli Grafici Probabilistici

• Le reti bayesiane sono usate per diagnosi medica o filtri antispam.
• Le reti di Markov trovano applicazioni nell'elaborazione del linguaggio naturale e nella visione artificiale.
• Modellare le dipendenze e l'incertezza rende i PGM strumenti preziosi.

Vantaggi e Limitazioni dei PGM

• Capacità di gestire l'incertezza e modellare dipendenze complesse.
• La complessità computazionale può aumentare rapidamente la validità del modello.

Analisi Avanzata delle Serie Temporali

• Concetti fondamentali includono la stazionarietà, la tendenza e la stagionalità. L'autocorrelazione è un altro concetto chiave.
• Un processo stazionario è quando i dati della serie hanno proprietà statistiche costanti nel tempo.

Modelli ARIMA

• Si basano sui principi di stazionarietà.
• Ci sono tre componenti: AR (Autoregressive), I (Integrated, termine integrato), e MA (Moving Average, termine a media mobile).
• La selezione dell'ordine (p, d, q) per AR, I e MA utilizza i grafici delle funzioni di autocorrelazione (ACF) e di autocorrelazione parziale (PACF).

Modello Prophet

• È specificamente progettato per la previsione di serie temporali con forte stagionalità ed effetti festivi.
• È robusto rispetto ai dati mancanti e agli spostamenti nella tendenza.

Altri Modelli di Serie Temporali Statistiche

• Comprendono lo Smoothing Esponenziale, incluso il metodo Holt-Winters.
• Lo Smoothing Esponenziale assegna pesi decrescenti alle osservazioni più vecchie.

Valutazione dei Modelli di Serie Temporali

• Fondamentale usando metriche appropriate come il RMSE (Root Mean Squared Error, errore quadratico medio), il MAE (Mean Absolute Error, errore medio assoluto), e il MAPE (Mean Absolute Percentage Error, errore percentuale assoluto medio).
• La scelta della metrica di valutazione dipende anche dal contesto specifico.

Reti Neurali Ricorrenti

• Gli RNN sono una classe di reti neurali artificiali in cui le connessioni tra i nodi possono creare un ciclo.
• Questa natura consente alle RNN di modellare dipendenze temporali e sequenziali.

LSTM e GRU

• Le reti Long Short-Term Memory (LSTM) e le Unità Ricorrenti Gate (GRU) sono architetture RNN avanzate.
• Questo risolve il problema della scomparsa del gradiente nelle RNN tradizionali.
• È possibile applicare LSTM e GRU per compiti di previsione di serie temporali.

Vantaggi nell'Uso di RNN

• Le RNN possono catturare dipendenze a lungo termine nei dati e gestire relazioni non lineari.
• Le LSTM possono catturare dipendenze a lungo termine nei dati.

Sfide nell'Addestramento delle RNN

• La scomparsa o l'esplosione dei gradienti.
• Tecniche come il gradient clipping possono essere utilizzate per prevenire l'esplosione dei gradienti.

Apprendimento per Rinforzo

• Sono inclusi l'agente, l'ambiente, lo stato, l'azione, la ricompensa e la politica.
• Esiste un compromesso tra esplorazione e sfruttamento.

Processi Decisionali di Markov

• Gli MDP sono un framework matematico per modellare il processo decisionale.
• Sono definiti da uno spazio di stati, uno spazio di azioni, una funzione di probabilità di transizione di stato, una funzione di ricompensa e un fattore di sconto.

Funzioni Valore

• Le funzioni valore stimano il valore atteso di trovarsi in un determinato stato.
• Le equazioni di Bellman forniscono una relazione ricorsiva.

Q-Learning

• È un algoritmo di RL model-free, off-policy che apprende una funzione valore azione-stato (funzione Q).
• Mantiene una tabella Q e estende il Q-learning utilizzando reti neurali profonde.

Applicazioni Apprendimento per Rinforzo

• Robotica dove l'RL addestra i robot.
• Settore finanziario dove si utilizza per il trading algoritmico e per ottimizzare i segnali stradali.
• Nei sistemi di raccomandazione I'RL offre suggerimenti personalizzati.

Sfide e Considerazioni nell'RL

• Una sfida significativa è la progettazione delle funzioni di ricompensa.
• Ad esempio, la funzione di ricompensa deve premiare i passaggi verso la posizione corretta.

Vantaggi Apprendimento per Rinforzo

• L'RL consente agli agenti di imparare strategie ottimali attraverso la sperimentazione.
• A differenza dell'apprendimento supervisionato, l'RL può apprendere da segnali di ricompensa sparsi.

Tecnologie Big Data

• Apache Spark è un sistema di calcolo distribuito open source che fornisce un'interfaccia per la programmazione.
• I componenti chiave di Spark includono RDD, DataFrame, e Spark SQL.
• Apache Hadoop è un altro framework open-source con i componenti importanti HDFS, MapReduce, e YARN.

Spark e Hadoop Confrontati

• Spark offre l'elaborazione in memoria mentre Hadoop utilizza l'elaborazione su disco.
• L'esperienza pratica con Spark e Hadoop è preziosa.

Sistemi di Data Warehousing

• Data warehouse differiscono dai database tradizionali nello scopo, nel tipo di dati e negli schemi di interrogazione.
• L'architettura comprende diversi componenti, tra cui un database centrale, ETL/ELT, metadati, strumenti di interrogazione e un livello di reporting.

Data Modelling

• Prevede la progettazione di tabelle dei fatti e delle dimensioni.
• Esistono varie tecnologie di data warehousing, tra cui soluzioni cloud.

Piattaforme Cloud

• Familiarità con AWS, Azure e GCP, le principali piattaforme cloud.
• AWS offre Amazon SageMaker, Azure fornisce Azure Machine Learning e GCP offre AI Platform e BigQuery ML.

Implementazione e modelli scalabili

Ruolo significativo di Docker e Kubernetes.

Opzioni di elaborazione senza server

• Offrono un modo conveniente ed efficiente in termini di costi per distribuire modelli di machine learning.
• È importante l'ottimizzazione dei costi quando si utilizzano piattaforme cloud.

Strategie di implementazione

• Numerose strategie di implementazione come i test A/B confrontano le versioni, l'implementazione canary prevede il rilascio di una nuova versione per un sottoinsieme di utenti.
• La scalabilità dell'infrastruttura di machine learning può essere ottenuta attraverso lo scaling.

Monitoraggio modelli machine Learning

• Fondamentale per rilevare il degrado delle prestazioni.
• Importanza della progettazione di sistemi per la tolleranza degli errori dei modelli implementati per la produzione.
• È importante l'ottimizzazione della velocità di inferenza e e dell'utilizzo delle risorse.

Gestione Avanzata de Database

• Essenziale l'Analisi di dati complessi con SQL.

Risolvere SQL

• Le window function consentono di eseguire calcoli su un set di righe di tabella correlate alla riga corrente.
• Gli CTE (Common Table Expressions) sono utilizzati per semplificare query complesse.

Tipologie di Join

Le tipologie di Join sono fondamentali per la combinazione di dati a partire da tabelle.

Ottimizzazione delle performance delle query

È fondamentale quando si lavorano set di dati di grandi dimensioni.

Strategie Indicizzazione

• È importante l'impatto delle strategie di indicizzazione delle performance.
• Conoscere i tipi di indici è importante (primari, univoci, clusterizzati e non clusterizzati).

Tecniche di partizionamento dei dati

• Sono utilizzate per gestire set di dati di grandi dimensioni suddividendo le tabelle.
• La capacità di analisi delle query è fondamentale per riconoscere i punti di forza e il miglioramento delle performance.
• I sistemi di database diversi offrono funzionalità di ottimizzazione diverse.

Software Engineering per Data Science

• I sistemi di controllo di versione come GIT, favoriscono lavoro di gruppo in data science.
• Molto valido il codice modulare, pulito e che viene documentato.

Strumenti code review

• I processi di code review sono utili per migliorare la qualità del codice.
• L'impiego del Continuous Integration e Continuous Deployment sono utili ad automatizzare la distribuzione modelli di machine learning.

Conoscenza Specifica del Dominio

• Ingegneria che si basa sull'interazione dei dati.
• L'intervistatore adatta le domande a seconda del ruolo scelto.

Analisi dei dati

• I diversi tipi di bias nell'IA richiede sistemi di equalizzazione.
• La misurazione dell'IA sempre più necessaria, in particolare quando è sensibile alle applicazioni.

Tecnologie utili per identificare gli squilibri etnici nei progetti di I.A.:

Si deve comprendere l'accountability nello sviluppo e nella produzione IA.

Ingegneria del software

Si devono identificare gli approcci efficaci e concisi per affrontare gli ambienti non esperti.

Tecniche importanti di machine learning

Le tecniche importanti hanno delle basi specifiche.

Tuning Avanzatissimo

Oltre che efficiente è utile un modello parametrizzabile.

Tecniche Stacking

Comprendere i vantaggi e l'accuratezza di ensemble.

Stacking

Questo metodo è importante per i passaggi di modello.

Sovradattamento

È importante evitarlo, tanto è utile in questo il crossing.

Previsione

Evitare il sovra adattamento, grazie alle stime e predizioni.

Prevenzione delle anomalie

Esistono diversi tipi di anomalie, come a livello di contesto.

GNN strutture di reti

La lettura delle matrici e degli archi connette con i nodi una fase a livello di grafo.

Strumenti convolution delle reti

Viene estesa le operazione a livello di grafo nella capacità dei modelli con la flessibilità dei vicini.

Conclusioni

L'esperto data scientist usa concetti statistici e competenze big data, con profonda e scalabile efficacia sull'apprendimento modelli e cloud.