libro 2 metavalutazione.docx

**INTRODUZIONE** Questo libro si apre con un esempio emblematico dell\'impatto degli algoritmi nella vita quotidiana, evidenziando il caso dell\'algoritmo dell\'Ufficio per la Regolamentazione delle Qualifiche e degli Esami (OFQUAL) in Inghilterra. Questo algoritmo, introdotto in risposta alla pandemia di COVID-19 per moderare i risultati degli esami A-level e GCSE del 2020, ha generato disuguaglianze riducendo i voti previsti per molti studenti. Questo include Mithushan Thiagarajah, che ha visto i suoi risultati ridotti, compromettendo la sua offerta di ammissione al Caius College di Cambridge. Questo caso evidenzia le sfide e le conseguenze dell\'automazione nell\'amministrazione, dimostrando l\'importanza di esaminare criticamente il ruolo degli algoritmi nella società. in Inghilterra, un ulteriore algoritmo progettato per la governance dell\'istruzione ha prodotto disuguaglianze abbassando i risultati degli esami A-level di quasi il 36% degli studenti che non hanno potuto sostenere gli esami a causa della pandemia di coronavirus. L\'algoritmo è stato impiegato dall\'Ufficio per la Regolamentazione delle Qualifiche e degli Esami (OFQUAL) - un dipartimento governativo non ministeriale che regola le qualifiche, gli esami e i test in Inghilterra - per contrastare l\'inflazione dei voti e moderare i voti predetti dagli insegnanti per le qualifiche A-level e General Certificate of Secondary Education (GCSE) nel 2020. L\'uso dell\'algoritmo è stato giustificato perché gli esami sono stati cancellati come parte della risposta alla pandemia di COVID-19. Naturalmente, come accade sempre quando si cercano di automatizzare processi amministrativi, l\'algoritmo dell\'OFQUAL è stato sviluppato con le migliori intenzioni, garantendo che gli standard di qualifica fossero mantenuti e che la distribuzione dei voti seguisse quella degli anni precedenti. Per gli studenti A-level, la loro scuola aveva già incluso un voto predetto come parte del riferimento per la domanda di ammissione al Universities and Colleges Admissions Service (UCAS), che gestisce il processo di domanda per le università britanniche. La domanda UCAS è stata presentata entro il 15 gennaio 2020 (15 ottobre 2019 per Oxford, Cambridge e medicina), e i voti erano stati condivisi con gli studenti. Secondo la domanda UCAS, Mithusan, uno studente A-level presso la scuola superiore, aveva ricevuto un\'offerta per studiare medicina a Cambridge. Quasi il 36% dei voti erano inferiori al voto previsto. Sfortunatamente, anche Mithushan, che i suoi insegnanti prevedevano avrebbe ottenuto quattro A+, ha visto i suoi risultati ridotti a un A+ e tre A, non sufficienti per il College. Il college ha ritirato la sua offerta. [Cos\'era successo?] L\'algoritmo dell\'OFQUAL si basava sui record di ciascun centro d\'esame e ha operato in modo differenziato a seconda delle dimensioni della scuola e delle materie svolte. Per gli studenti con più di 15 anni, il voto predetto dagli insegnanti veniva standardizzato in base ai risultati storici della media degli ultimi tre anni. Tuttavia, per gli studenti più giovani, i voti assegnati dagli insegnanti venivano utilizzati senza confronto con i dati storici. Di conseguenza, gli studenti delle scuole più piccole o con materie minoritarie hanno ottenuto voti più alti rispetto alle previsioni degli insegnanti, mentre il contrario è accaduto per gli studenti delle scuole più grandi. La formula stava effettivamente riproducendo le disparità che esistono nel sistema educativo britannico. L\'esempio dell\'algoritmo dell\'OFQUAL non è isolato. Non solo in Gran Bretagna, ma anche in molti altri paesi, si stanno sempre più utilizzando software per automatizzare i servizi educativi con la speranza di ridurre i costi e rendere i processi più efficienti. Ciò non solo risparmia tempo e denaro, ma viene anche promosso come equo e oggettivo perché rimuove gli esseri umani dalle decisioni ed anche per prevenire pregiudizi e corruzione. Il mio interesse per l\'auditing degli algoritmi è iniziato con un altro algoritmo progettato per l\'istruzione, quando nel 2016 il Ministero dell\'Istruzione italiano ha impiegato un sistema automatizzato per assegnare le posizioni degli insegnanti per l\'anno scolastico 2016/2017. L\'algoritmo seguiva una serie di criteri, alcuni dei quali concordati con i rappresentanti degli insegnanti e i sindacati. L\'algoritmo è stato sviluppato da Hewlett e Packard e Finmeccanica, due importanti fornitori di hardware e servizi IT per le pubbliche amministrazioni. Il successo dell\'algoritmo consisteva nel decidere la destinazione finale degli insegnanti, considerando i seguenti fattori: posizioni disponibili, preferenze degli insegnanti, punteggi degli insegnanti (valutazione dell\'istruzione, condizioni speciali come familiari con disabilità, mobilità professionale, ecc.), e diverse variabili contestuali (ad esempio, posizioni disponibili nella stessa scuola di provenienza, livello scolastico, età, ecc.). L\'algoritmo era di natura ricorsiva, veniva applicato più volte finché non venivano coperte tutte le posizioni disponibili. **migliaia di insegnanti sono stati trasferiti centinaia di chilometri dalle loro case, rispetto ad altri con un punteggio più basso che sono stati assegnati a una posizione nella stessa provincia in cui vivevano.** Gli insegnanti della Puglia e della Calabria sono stati costretti a trasferirsi nella provincia di Milano, quando avrebbero dovuto essere assegnati alle loro regioni; Di conseguenza, ci sono state migliaia di cause e appelli. Se l\'algoritmo era originariamente progettato per proteggere gli insegnanti da influenze esterne, producendo così una decisione efficace e \"neutrale\", è invece stato valutato come non neutrale dal Tribunale Amministrativo Regionale, le cui sentenze hanno confermato che l\'algoritmo ha preso decisioni ingiustificabili basate sui criteri stabiliti nel regolamento ministeriale che ha implementato il piano straordinario di reclutamento. L\'esperienza tecnica richiesta dal tribunale ed eseguita dall\'Università di Tor Vergata a Roma ha definito l\'algoritmo come segue: \"confuso, incompleto, presuntuoso\... costruito su dati di input organizzati e gestiti nel modo sbagliato\". Per la prima volta, l\'opinione pubblica italiana si è trovata di fronte alla \"governance algoritmica\", che si basa su processi automatizzati e autonomi di presa decisionale. **ALGORITMI** La parola \"algoritmo\" deriva dal nome del matematico persiano del IX secolo Muhammad ibn Mūsā al- Khwārizmī. Successivamente, nel tardo Medioevo europeo, il termine è emerso quando i suoi testi furono tradotti in latino. Questi testi contenevano una serie di calcoli tradotti in formule matematiche come addizione, sottrazione, moltiplicazione e divisione. Questo cambiò nella metà del XX secolo quando il campo emergente della scienza informatica lo adottò per riferirsi a un insieme di istruzioni per risolvere un particolare problema che poteva essere implementato da un computer. Ogni tentativo di fornire una definizione precisa degli algoritmi è stato ostacolato dall\'evoluzione stessa degli algoritmi. Gli algoritmi sono molteplici, sia perché hanno molteplici definizioni che molteplici usi. Da un punto di vista puramente tecnico, gli algoritmi sono definiti come un **insieme di istruzioni per eseguire determinate attività** o, più specificamente, come una **procedura governata da istruzioni precise e definita da una serie di passaggi, nonché un modo per descrivere una procedura computazionale in modo astratto e formalizzato**. Tecnicamente, un algoritmo deriva dalla separazione tra logica e controllo: il componente logico specifica il dominio della conoscenza da utilizzare per formulare una soluzione a un certo problema. Il componente di controllo determina la strategia di risoluzione del problema attraverso la quale questa conoscenza viene applicata. **In altre parole, la logica specifica a livello teorico ciò che deve essere fatto, mentre il controllo definisce come sarà operativamente fatto.** L\'efficienza di un algoritmo può essere migliorata attraverso modifiche al controllo, aggiungendo passaggi o incorporando nuovi dati per raffinare la sua logica. Tuttavia, la trasformazione della logica in controllo non è sempre lineare. Alcuni concetti teorici possono essere rappresentati direttamente come algoritmi attraverso equazioni matematiche, mentre in casi più complessi è necessario prima tradurre il problema in istruzioni pseudo-codificate, che poi vengono codificate. Questo processo comporta una doppia traduzione: la formalizzazione del problema (piano logico) e la trasformazione di questa logica in una sequenza strutturata di istruzioni e passaggi che definiscono il funzionamento dell\'algoritmo (dichiarazioni di flusso di controllo). \"un algoritmo indica essenzialmente cosa dovrebbe accadere quando\". Una grande differenza deve essere tracciata tra gli algoritmi deterministici, che seguono gli stessi passaggi ripetutamente, e gli algoritmi che possono \"imparare\" nel tempo, i cosiddetti algoritmi di machine learning. Gli algoritmi di machine learning raggruppano i dati in base a un insieme di caratteristiche che sono definite in base agli stessi dati; quindi, i programmatori non devono scrivere tutte le dichiarazioni di controllo. Hanno l\'ambizione di regolare le caratteristiche iniziali imparando dai dati successivi. Questi tipi di algoritmi sono molto dipendenti dai set di dati di addestramento utilizzati per far apprendere alla macchina, finendo talvolta per non corrispondere alle uscite desiderate. Per questo motivo, uno dei modi più comuni in cui gli algoritmi possono imparare è l\'apprendimento supervisionato, dove i programmatori forniscono il set di informazioni rilevanti e l\'output desiderato, in modo che l\'algoritmo possa rilevare questi dati nei nuovi dati. Un\'ulteriore evoluzione del machine learning è il **deep learning**. Il deep learning consente alle macchine di lavorare su compiti difficili da modellare, come il riconoscimento facciale o la generazione di voce. La generazione di discorsi a partire da testo è un compito sempre più comune grazie alla popolarità di software come Siri di Apple, Cortana di Microsoft, Amazon Alexa e l\'Assistente Google. Molti nuovi software per il riconoscimento vocale fanno uso del deep learning. L\'algoritmo di questo tipo di software viene alimentato con un set di dati di addestramento di dati audio e impara le caratteristiche di quell\'audio. Se il set di addestramento è composto da suoni vocali, l\'algoritmo imparerà tutte le possibili caratteristiche di quelle voci. L\'algoritmo sarà in grado di generare \"parole simili al linguaggio umano ma inesistenti in modo fluido con intonazioni realistiche\". Il riconoscimento vocale può operare un abbinamento di pattern ultra-dettagliato tra una voce conosciuta e una nuova da utilizzare a fini forensi. Gli artisti, gli hacker e gli attivisti mediatici lo stanno sfruttando anche per generare voci inesistenti, voci senza genere o \"clonazione vocale\" e deepfakes. Gli algoritmi sono molteplici non solo perché hanno logiche e linguaggi di programmazione diversi, ma anche perché fanno cose molto diverse. Gli algoritmi di raccomandazione svolgono un ruolo essenziale nell\'attuale ambiente online. Comandano come vengono visualizzati i risultati della ricerca web, curano i feed delle notizie e controllano piattaforme di lavoro e di incontri, tra le altre cose. Gli algoritmi di raccomandazione sono implementati nelle piattaforme dei social media e strutturano le nostre preferenze suggerendo quale canzone dovremmo ascoltare dopo, quale film potremmo apprezzare o qual è l\'ultima serie che ameremmo. Oggi, molte aziende utilizzano i big data per fare raccomandazioni altamente rilevanti. La chiave del successo degli algoritmi di raccomandazione è operazionalizzare al meglio la \"similarità\". Quando devi raccomandare qualcosa a un utente, la cosa più logica da fare è trovare persone con interessi \"simili\", analizzare il loro comportamento e raccomandare a quell'utente gli stessi articoli. Puoi anche guardare agli articoli \"simili\" a quelli che l\'utente ha acquistato in precedenza e raccomandare prodotti simili a quelli. Per svolgere questo compito, possono essere impiegati molti algoritmi, che vanno dal filtraggio collaborativo e le sue modifiche, fino al deep learning. L\'obiettivo dei processi decisionali controllati da algoritmi, o sistemi decisionali automatizzati (ADS), come quelli presentati nell\'introduzione, è diverso. I questo caso, gli algoritmi mirano a trovare la migliore decisione per un dato problema. Gli ADS sono sistemi procedurali in cui le decisioni sono inizialmente, in parte o totalmente delegate a un ente pubblico o a un\'azienda, che a sua volta utilizza algoritmi per eseguire un\'azione. Questa delega - non della decisione stessa, ma dell\'esecuzione - coinvolge un modello decisionale e l\'algoritmo che traduce questo modello in codice computabile. I sistemi decisionali algoritmici sono sempre più utilizzati come parte dei processi decisionali con potenziali conseguenze significative per individui, organizzazioni e società nel loro complesso. Molto prima dell\'automazione, gli algoritmi assumevano la forma di sistemi di classificazione e ranking. Nell\'ambito dell\'istruzione, gli algoritmi sono stati impiegati per produrre classifiche di università, scuole, dipartimenti, professori e studenti. Questi hanno un impatto significativo sulle iscrizioni degli studenti, sulla ricerca e sui fondi per l\'insegnamento. Un altro esempio recente di sistema di classificazione riguarda la determinazione algoritmica delle condizioni di rischio che è stata impiegata durante la pandemia di COVID-19 per classificare le regioni italiane, ad esempio, in tre categorie (giallo, arancione e rosso) secondo un insieme di indicatori. Il colore determinava quali azioni i cittadini potevano compiere, se potevano spostarsi tra i comuni, andare ai ristoranti o visitare parenti. **OLTRE IL TECNICISMO** L\'ampio utilizzo degli algoritmi ha richiesto l\'emergere degli \"studi critici sugli algoritmi\" in diversi campi, che vanno dagli studi sui media alla geografia e dalla sociologia alle discipline umanistiche. Ispirati dalla letteratura degli studi sulla scienza e la tecnologia (STS) riguardo alla sfumatura delle frontiere tra tecno-scienza e cultura, gli studi critici sugli algoritmi prestano particolare attenzione alle conseguenze sociali e politiche degli output, come ad esempio l\'effetto della circolazione algoritmica dei contenuti sul consumo culturale, l\'impatto massiccio degli algoritmi sui mercati e sulle finanze, o come i sistemi decisionali automatizzati (ADS) incentrati sugli algoritmi possano rafforzare le disuguaglianze e incorporare pregiudizi culturali. In questo filone di studi, vi è un ampio consenso nel considerare l\'algoritmo come un **complesso insieme di passaggi definiti per produrre risultati specifici che si intrecciano con pratiche sociali e materiali che hanno una propria natura culturale, storica e istituzionale**. L\'oggettività, l\'imparzialità e la conseguente pretesa di affidabilità degli algoritmi sono contestate: gli stessi codici riflettono i valori sociali e politici dei loro programmatori. Anche se cercano di rimanere distaccati e imparziali, porteranno il loro background personale di conoscenza e i propri pensieri e modelli culturali. Inoltre, il design di un algoritmo è legato anche alle risorse disponibili e alla qualità dei dati, dal set di requisiti che ne regolamentano l\'uso (standard, protocolli e leggi vigenti), così come dagli strumenti tecnologici strettamente correlati, come piattaforma, hardware, software e infrastruttura. Pertanto, gli algoritmi vengono interpretati come parte di assemblaggi molto più ampi e complessi di azioni e decisioni, definiti come \"sistemi socio-tecnici composti da diversi apparati ed elementi profondamente intrecciati\". Il termine \"assemblaggio\", in francese agencement, è attribuito al filosofo francese Deleuze. Egli credeva che l\'assemblaggio fosse soprattutto l\'atteggiamento di riconoscere la produzione degli elementi tecnici come campi di forza nell\'entità in cui sono situati e a cui contribuiscono a produrre. Nell\'assemblaggio, lo stack tecnologico - che include hardware, codici, piattaforme, dati, interfacce, ecc. - e le forme di conoscenza, le esigenze e gli interessi dei progettisti sono indissolubilmente intrecciati. Proprio come gli algoritmi sono un prodotto dell\'assemblaggio, l\'assemblaggio è strutturato e gestito per produrre quegli algoritmi. Gli algoritmi e il loro assemblaggio sono quindi reciprocamente costituiti e sono reattivi, dinamici e vivi, e costantemente riconfigurati. Gillespie (2014) utilizza la figura retorica della sineddoche per mostrare efficacemente la natura socio-tecnica degli algoritmi, visti come sistemi complessi in cui l\'algoritmo stesso, i modelli di riferimento, gli obiettivi, i dati e i programmi sono collegati e intrecciati con il lavoro di tecnici ed esperti che discutono i modelli utilizzati, che sono impegnati nella gestione e nell\'elaborazione dei dati, che progettano e applicano algoritmi in contesti specifici. Se gli algoritmi sono il prodotto combinato di diversi apparati, tecniche analitiche stratificate e varie comunità di esperti in competizione, le loro origini e interpretazioni diventano multiple e conflittuali, con il risultato del loro assemblaggio che viene \"imballato\" (traduzione letterale di \"black boxed\", ndt). \"black box\" è un termine usato dalla cibernetica quando una parte di un meccanismo o una serie di istruzioni è sconosciuta, a parte i suoi input e output. Ci chiediamo, quindi, fino a che punto sia possibile accedere alle operazioni eseguite dagli algoritmi che sembrano essenzialmente opachi, e come ricostruire il complesso di dinamiche e interazioni tra i diversi attori (umani e non umani) che partecipano alla costruzione degli algoritmi. A questo scopo, diventa necessario aprire la \"scatola nera\" che li governa e scomporre il processo in cui sono progettati e sviluppati. L\'opacità degli algoritmi è diventata un problema dal momento che sono stati impiegati per scopi normativi e per la gestione dei servizi pubblici. Gli algoritmi svolgono un ruolo cruciale, nella prevenzione e nel contrasto alla criminalità nel contesto della polizia predittiva, o per supportare le scelte riguardanti l\'assunzione e il licenziamento sul luogo di lavoro, e per selezionare il pubblico beneficiario delle misure di assistenza sociale, per non parlare dell\'ampio utilizzo nella formulazione delle politiche educative e nella valutazione. Quando utilizzati correttamente, con un\'analisi adeguata dei loro impatti sulla vita delle persone, i sistemi algoritmici, compresa l\'intelligenza artificiale (AI) e il machine learning, sono stati detti avere un grande potenziale per migliorare i diritti umani e la società democratica. D\'altra parte, la loro opacità può sollevare domande inquietanti sull\'equità, la democrazia e la giustizia. Eubanks (2018), mostra che negli Stati Uniti d\'America, molte richieste di aiuti sanitari, alimentari o economici sono state negate a causa di sistemi informatici difettosi, indici non affidabili di disagio e formule non valide. L\'adozione di sistemi intensivi di dati per la selezione del pubblico beneficiario delle misure di assistenza sociale, sostenuta dalla logica neoliberale come antidoto all\'inefficienza e allo spreco, ha in alcuni casi avuto pesanti conseguenze sulla vita dei cittadini più poveri e socialmente esclusi, specialmente gli afroamericani. In uno dei casi descritti da Eubanks nel suo volume riguardante l\'allocazione di posti letto per i senzatetto nella città di Los Angeles, l\'algoritmo contava le notti trascorse in prigione come alloggio, abbassando l\'indice di vulnerabilità per coloro che erano stati arrestati, riducendo così la loro possibilità di accedere in futuro ai pochi posti letto disponibili. Come riportato dal Panel per il Futuro della Scienza e della Tecnologia del Parlamento Europeo nel 2019, c\'è una crescente preoccupazione che, a meno che non siano messi in atto adeguati quadri di governance, l\'opacità dei sistemi algoritmici potrebbe portare a situazioni in cui gli individui sono negativamente influenzati perché \"il computer dice NO\", senza possibilità di ricorso a spiegazioni significative, a un meccanismo di correzione o a un modo per accertare errori che potrebbero portare a processi di compensazione. Molto spesso gli algoritmi sono opachi, indiscussi e non rendicontabili. Come nel caso dell\'algoritmo Buona Scuola, un aspetto è stato particolarmente disapprovato dagli insegnanti: la natura non aperta dell\'algoritmo e la difficoltà di controllarlo. Quando interrogati sugli evidenti errori, sia il ministero che le aziende software hanno inizialmente adottato un comportamento protettivo, attribuendo il fallimento dell\'algoritmo alla grande quantità di dati da trattare. Lo stesso è successo con l\'algoritmo OFQUAL. La disputa è iniziata con commenti fatti dalla Royal Statistics Society in cui la società ha dichiarato di aver offerto il suo aiuto con l\'algoritmo, ma si è opposta all\'accordo di riservatezza proposto che gli esperti avrebbero dovuto firmare, e ha sostenuto di non aver ricevuto risposte ufficiali alle sue preoccupazioni. In linea di principio, è comprensibile che le amministrazioni difendano i risultati dei loro algoritmi. Le persone coinvolte, gli esperti del settore e i tecnici possono tutti legittimamente mettere in discussione gli algoritmi e il loro funzionamento, ma dal punto di vista delle amministrazioni, la continua contestazione può generare incertezza. Tuttavia, algoritmi non contestati e non rendicontabili possono nel lungo termine avere effetti peggiori sulla fiducia che sul controllo e sulla scrutinio. Il rischio è che i cittadini diventino sempre più sospettosi sull\'uso degli algoritmi, alimentando ulteriori dubbi e diffidenza sul loro funzionamento nell\'amministrazione. Per mitigare questi legittimi timori, è necessaria una maggiore apertura, ed è qui che inizia questo libro sull\'audit degli algoritmi. **L\'AUDIT DEGLI ALGORITMI** L\'audit degli algoritmi mira a promuovere due forme separate, ma interconnesse, di apertura: trasparenza e responsabilità. La trasparenza significa che ***le persone colpite da un algoritmo dovrebbero essere in grado di sapere cosa fa l\'algoritmo***. Se non possiamo sapere cosa un\'organizzazione ha delegato all\'algoritmo di fare, non possiamo renderla responsabile. La responsabilità significa che ***le persone colpite dagli algoritmi dovrebbero anche sapere perché le amministrazioni decidono di progettare l\'algoritmo così com\'è***. I decisori dovrebbero rendere conto della loro decisione, in primo luogo, di utilizzare un algoritmo per svolgere il compito e risolvere scelte tecniche così come sociali e politiche che hanno determinato la sua forma finale. La trasparenza e la responsabilità forniscono due mezzi importanti per raggiungere la giustizia algoritmica. Come già accennato, gli algoritmi possono avere il potenziale per svantaggiare automaticamente, o addirittura discriminare, diversi gruppi sociali e demografici. La trasparenza e la responsabilità minimizzano il loro potenziale di essere ingiusti e massimizzano il loro potenziale di essere equi. La valutazione della giustizia dipende da prove, eventi e obiettivi, e quindi deve essere intesa come specifica per situazione o compito e necessariamente affrontata all\'interno del campo di pratica considerando come le attività e gli effetti specifici del caso si inseriscono nei valori sociali generali. Bucher (2018) sottolinea che [il modo più comune per definire un algoritmo è descriverlo come una ricetta con i suoi ingredienti, le loro quantità e la sequenza dei passaggi da seguire.] La trasparenza degli algoritmi può avere obiettivi simili. Può aumentare la consapevolezza dei cittadini sulla governance algoritmica e sul trattamento automatizzato dei dati. Alcuni considerano la trasparenza un utopia perché il pubblico non può sapere; non ha le competenze necessarie per capire gli algoritmi. Sì, è vero, la maggior parte della popolazione non sa come funzionano gli algoritmi e che tipo di problemi possono generare. Tuttavia, chiediamo sistemi algoritmici trasparenti perché stanno diventando così centrali per le nostre vite e le nostre economie, e possiamo immaginare tra 10/20 anni un futuro in cui gli algoritmi ricevono un colore in base al loro livello di equità, simile a quanto accade sulle nuove etichette nutrizionali per gli alimenti. è solo un modo provocatorio per dire che molti sforzi dovrebbero essere dedicati alla definizione di standard di equità algoritmica, definire le migliori pratiche di trasparenza e responsabilità e continuare il confronto tra algoritmi simili. Per raggiungere questo obiettivo, [il primo passo è raccogliere e diffondere molte prove sugli algoritmi e il loro funzionamento]. Credo che i metodi di ricerca sociale possano rappresentare strumenti preziosi per trovare queste prove e aumentare la trasparenza e la responsabilità. Il primo metodo è ***l\'esperimento***, un metodo tradizionale che può essere utilizzato per testare l\'algoritmo con un dataset equivalente, o in contesti diversi, o per modificare una piccola parte del codice per vedere quali conseguenze ha sui risultati. Un recente esperimento condotto da Kayser-Bril ha mostrato che l\'algoritmo utilizzato da Google Vision Cloud - un servizio automatico di classificazione delle immagini - ha prodotto risultati diversi in base al colore della pelle. L\'immagine da classificare nell\'esperimento era una mano che tiene un termometro portatile, un oggetto che prima della recente epidemia di nuovo coronavirus era conosciuto solo dagli specialisti, ma oggi è diventato un oggetto comune, che le persone hanno visto in TV o in aziende, aeroporti, stazioni degli autobus e dei treni, e ovunque sia diventato obbligatorio misurare le temperature. Il sistema automatico di classificazione delle immagini di Google era stato addestrato su set di dati che probabilmente non contenevano immagini di termometri portatili, quindi non potevano classificare correttamente l\'oggetto. Tuttavia, Google Vision Cloud stava per classificare l\'oggetto di un individuo nero che tiene il termometro portatile come \"arma\", mentre nella stessa immagine raffigurante un individuo bianco, l\'oggetto era classificato come \"strumento elettronico\". La causa di questo errore è semplice se si conosce il modo in cui gli algoritmi \"imparano\" dai dati per fare una classificazione degli elementi. La classificazione si basa su modelli che aiutano la macchina a interpretare l\'immagine, quindi ad esempio, mucche fotografate su una montagna innevata possono essere più facilmente classificate come lupi, mentre, se sono in città, come cani. Il contesto, nella pratica, può influenzare la classificazione. Kayser-Bril ha concluso che nelle immagini utilizzate da Google per addestrare l\'algoritmo, le persone di colore erano probabilmente più frequenti in scene di violenza; quindi, l\'immagine di un individuo nero era più probabilmente classificata con un termine che appartiene al lessico della violenza. Le vere conseguenze di un tale evidente pregiudizio algoritmico possono essere gravi. Negli Stati Uniti d\'America, strumenti automatici di riconoscimento delle armi vengono utilizzati nelle scuole, negli stadi e nei supermercati. Allo stesso modo, in Europa, sono impiegati da alcune forze di polizia in luoghi affollati. Poiché questi sistemi sono molto simili a Google Vision Cloud, potrebbero soffrire dello stesso problema, rendendo più probabile che gli individui neri vengano considerati pericolosi. L\'esperimento di Kayser-Bril ha spinto Google il 6 aprile 2020 a modificare il suo algoritmo, e da allora i termometri portatili sono stati classificati correttamente indipendentemente dal colore della pelle della persona che li tiene. I metodi qualitativi possono essere molto utili anche nell\'audit degli algoritmi. L\'etnografia, ad esempio, si concentra su come gli algoritmi vengano generati e su come le decisioni pre-analitiche sui dati e la preparazione del modello possano influenzare i risultati. Si propone di comprendere i valori simbolici, culturali e normativi che sono incorporati negli algoritmi e che promuovono determinate immagini della realtà sociale. Ad esempio, Aragona e Felaco (2019) hanno analizzato alcune infrastrutture dati europee e la loro rete di stakeholder (amministratori e policymaker, politici, aziende commerciali e altri), mostrando che ognuno di essi ha i propri obiettivi che possono essere in parte in conflitto. Gli studiosi riportano il caso dell\'ISTAT - uno dei principali istituti statistici europei che sfrutta il potenziale dei big data per la presa di decisioni - che ha utilizzato dettagliati registri delle chiamate, elaborati con un complesso algoritmo spaziale, per produrre informazioni granulari sulla popolazione che insiste per il lavoro o l\'istruzione nelle aree metropolitane. Questa è una parte della popolazione che aumenta le presenze in un dato luogo, e la sua stima è estremamente utile per organizzare servizi pubblici e trasporti. In Italia, le compagnie di telefonia mobile non sono obbligate a condividere i dati. Pertanto, il loro utilizzo deve essere negoziato tra l\'azienda e l\'istituto, e coinvolge un livello di autorità sulla privacy, agenzie governative e aziende private, e la firma di una serie di accordi riguardanti la proprietà intellettuale, la non divulgazione e la ridistribuzione. Nel caso studiato dagli autori, sono occorsi due anni per ottenere un accordo e solo con una delle tre principali aziende operanti nel paese. Ciò può avere conseguenze nel confrontare i risultati in diverse aree a causa del numero di clienti nelle diverse aree del paese. Sebbene questo studio non abbia evidenziato disuguaglianze, ha servito a confermare la natura co-costitutiva degli algoritmi, costellata di attori, che a volte devono negoziare e raggiungere un compromesso, il che ha conseguenze per l\'algoritmo. Compromessi, negoziazioni, tutte cose che non fanno generalmente parte delle narrazioni che promuovono l\'ampia adozione degli ADS. Queste narrazioni insistono invece sull\'efficienza, neutralità e oggettività degli algoritmi. La gamma di tecniche che possono essere utili per effettuare audit degli algoritmi potrebbe continuare (Capitolo 3). Ad esempio, le tecniche includono sondaggi degli stakeholder e della popolazione soggetta all\'algoritmo, che mirano a rilevare il comportamento e le opinioni delle persone colpite da decisioni automatizzate specifiche; oppure con la ricerca partecipativa per reclutare individui che possono agire come utenti su APP e sistemi intensivi di dati e raccogliere i risultati da inviare ai ricercatori. Questi sono solo per citarne alcuni. In pratica, ora ci sono molte strategie che possono essere seguite per condurre progetti di ricerca che hanno un algoritmo come oggetto di studio. In ognuno di questi, il ruolo di un esperto in metodi di ricerca sociale (sia quantitativi che qualitativi, e digitali/non digitali) è cruciale. ***Solo la ricerca empirica può permetterci di mettere da parte i pregiudizi e invece entrare nel merito del funzionamento dei sistemi algoritmici.*** Più ricerca viene condotta, più sarà possibile analizzare il continuo feedback che esiste tra algoritmi, conoscenza e decisioni e valutare il loro impatto sull\'etica, l\'ineguaglianza e la discriminazione. **1° CAPITOLO WHY** Il legame tra dati e politica non è nuovo; infatti, la statistica, fin dal suo inizio, ha combinato "le norme del mondo scientifico con quelle dello stato moderno e razionale". Almeno fin dalla fondazione degli Stati nazionali europei, la conoscenza sotto forma di dati ha rappresentato uno strumento di potere. Secondo **Hacking**, dal 1820 al 1840, uno straordinario e quasi universale entusiasmo numerico produsse una valanga di numeri e di tecniche per la loro produzione, analisi e comunicazione. A metà del XX secolo, **Lasswell** (1951) promosse un modello politico in cui il miglioramento del processo decisionale si basava su una completa scientificazione del processo politico e in cui i dati e le tecnologie correlate giocavano un ruolo cruciale. A suo avviso, *[esisteva un'unica verità scientifica che rappresentava un determinato problema politico e, attraverso numeri e formule, gli esperti erano in grado di adattare questa verità all'interno del processo politico.]* Una volta che questa verità fosse stata comunicata ai politici, le politiche sarebbero state formulate attorno ad essa. Questa visione dei dati e delle relative tecniche è rimasta incontrastata per molto tempo, ed è stata praticata solo con piccoli cambiamenti -- ad esempio, nei contesti delle politiche basate sull'evidenza e nella nuova gestione pubblica, dove l'idea è "aiutare le persone a prendere decisioni ben informate su politiche, programmi e progetti mettendo le migliori prove disponibili dalla ricerca al centro dello sviluppo e dell'attuazione delle politiche". Per ottenere queste evidenze, dovrebbero essere impiegati i migliori esperti del mondo accademico, dei servizi informatici e delle statistiche, creando nuove forme di collaborazione e scambio tra attori pubblici e privati. Questo modello è considerato fondamentale per migliorare l'efficienza e l'efficacia, nonché per rafforzare la legittimità delle decisioni politiche, respingendo qualsiasi forma di ideologia che potrebbe intervenire nella progettazione e nell'attuazione delle politiche. Gli algoritmi vengono utilizzati per riaffermare la legittimità politica e l'autorità governativa, difendendo la logica delle decisioni politiche contro l'ideologia e il sentimento e promuovendo efficienza ed efficacia. Un ricco campo di studi, iniziato negli anni '80 e influenzato dai lavori di Bourdieu (1979, 1988, 1991) sullo stato e sul potere simbolico, ha cominciato a mettere in discussione questa tradizionale visione oggettivista e pragmatista della dataficazione. In un contesto così nuovo, i dati erano visti come il risultato di processi deliberati di scelta, selezione e giustificazione cioè **come il risultato di un processo politico**. Molte ricerche sono state dedicate allo studio dei processi attraverso i quali classificazioni, indicatori e misure vengono costruiti attraverso una serie di conflitti, compromessi e accordi tra molti attori, con diversi quadri cognitivi. Comune a questi studi abbastanza diversi è la nozione, ispirata in parte dal lavoro di Foucault (1980), [che le pratiche amministrative creano ciò che intendono rappresentare. ] I dati hanno quindi una natura convenzionale o, secondo le parole di Thévenot (1984), i dati vengono "concordati" all'interno di un formato specifico utilizzato in un particolare regime di azione e giustificazione. Hacking (2007) ha mostrato che la conoscenza scientifica e gli esperti partecipano a questi processi politici in cui vengono creati fatti e dati, e diventano anche il campo principale in cui questo processo politico si concretizza. Indici, indicatori, registri, archivi e le relative tecniche di gestione e analisi di dati e algoritmi sono solo il risultato della "politica degli indicatori". Un ulteriore riferimento teorico che può essere estremamente utile per dispiegare criticamente l'uso intensivo di dati e algoritmi nei processi decisionali pubblici corrisponde a tre nozioni introdotte da Amartya Sen. **La prima è la base informativa del giudizio.** Sen (1990) ritiene che qualsiasi giudizio si basi solo su dati specifici che inevitabilmente escludono altri tipi di dati. Secondo i dati selezionati, il processo decisionale seguirà alcuni obiettivi specifici e si avvarrà di diversi strumenti. La scelta tra basi alternative di giudizio non è quindi la conseguenza di alcuna evidenza scientifica, ma è solo politica. **La seconda nozione è la scelta della base della descrizione**. Sen spiega che la descrizione non è semplicemente una distante osservazione di un problema, ma implica la scelta tra diverse descrizioni del problema cariche di teorie e credenze. Ma forse la nozione più importante del lavoro di Sen è quella che lui chiama **"oggettività posizionale"** (1993), secondo la quale *l'oggettività dipende dalla posizione dell'osservatore.* Gli osservatori sono tanti e diversi (amministratori e policy maker, politici, imprese, ricercatori, giornalisti, cittadini) e ognuno di loro ha esigenze proprie che possono essere in parte contrastanti. Gli algoritmi, invece, sono considerati oggettivi in senso assoluto, perché mirano ad essere adottati in relazione a persone diverse e in molteplici situazioni. Obiettività assoluta significa rifiutare la politica, considerandola semplicemente come una cosa tecnica. Il determinismo tecnologico è stato attaccato anche da una prospettiva diversa dagli studi scientifici e tecnologici (STS), che sono stati a lungo utilizzati per definire le infrastrutture di dati e la loro importanza nei lavori più recenti sulla vita sociale dei cittadini. Dati o assemblaggi di dati che producono/riproducono nuove forme di dati digitali. Passando da una questione di fatti a una questione di preoccupazioni, le STS ci permettono di concentrarci sugli assemblaggi eterogenei in cui significati, descrizioni, selezioni, codici e scelte sono negoziati all\'interno di una rete socio-materiale di entità. In questi assemblaggi vengono eseguite sia azioni computazionali che non computazionali, inquadrando l\'oggetto, i dati e gli algoritmi per raccogliere e analizzare i dati. Secondo STS, i dati e le tecnologie correlate non esistono prima dell'azione sociale, ma attraverso l'azione sociale; né esistono indipendentemente dai processi relazionali. **Piuttosto, sono il prodotto di scelte e vincoli che costituiscono sistemi di pensiero, tecnologie, persone, risorse e finanziamenti, know-how, opinione pubblica e politica e considerazioni etiche**. Ispirati da STS, un numero crescente di studiosi, al fine di svelare la natura degli algoritmi, hanno iniziato a focalizzare l\'attenzione critica sui codici software e sugli algoritmi che contribuiscono agli studi sui nuovi media e agli studi sul software. Alcuni si sono concentrati su come vengono generati gli algoritmi, altri su come funzionano all'interno di un ambito specifico, come il giornalismo, la sicurezza o la finanza. Tutti questi lavori dimostrano che gli algoritmi, insieme ai dati, non sono neutrali. Lungi dall'essere di natura neutrale, gli algoritmi costruiscono e implementano regimi di conoscenza e il loro utilizzo ha implicazioni normative. La questione, quindi, è se queste conoscenze, le scelte, i compromessi e gli accordi siano visibili e pubblicamente discutibili, e se la costruzione degli algoritmi possa essere controllata o, al contrario, questi processi siano completamente "black boxed". **Il problema delle black boxed** La scatola nera è uno schizzo che gli informatici utilizzano quando una parte di una macchina è troppo complessa. Invece di spiegare le istruzioni complesse, disegnano una scatola nera per comunicare che non hanno bisogno di sapere cosa c\'è dentro, ma solo quali segnali entrano (l\'input) ed escono (l\'output). il termine "scatola nera" è un'utile metafora per gli algoritmi, dato il suo duplice significato. Può riferirsi a un dispositivo di registrazione, come i sistemi di monitoraggio dei dati negli aerei, nei treni e nelle automobili, oppure può significare un sistema il cui funzionamento è misterioso: possiamo osservarne gli input e gli output, ma non possiamo dire come l\'uno diventa l\'altro. affrontiamo quotidianamente questi due significati: monitorati sempre più accuratamente da aziende e governo, non abbiamo un'idea certa di quanto lontano possano arrivare queste informazioni, di come e perché vengono manipolate o delle loro conseguenze. Latour (1987) spiega che nelle scatole nere, indipendentemente dalle controversie che hanno segnato la loro creazione, dalla complessità dei loro meccanismi e dalla dimensione delle reti di comunità che le tengono in vita, contano solo gli input e gli output. La scatola nera aiuta a sistemare le cose; rende le transazioni ordinarie più veloci ed efficienti perché consente che una serie di processi di elaborazione e scambio siano dati per scontati. Due caratteristiche delle scatole nere sono estremamente rilevanti per comprendere perché dovremmo controllare gli algoritmi. Innanzitutto, nelle scatole nere, contesto e contenuto sono inestricabilmente intrecciati. Non è possibile vedere gli eventi circostanziali che producono una certa soluzione, o la rete di attori umani e non umani che partecipano all\'assemblaggio della scatola. Definizioni, oggetti e dati vengono dati per scontati e indiscussi, presupponendo che tutti sappiano qual è il contenuto e che questo contenuto sia staccato dal contesto. In secondo luogo, le scatole nere consentono la realizzazione di routine, intese come flussi che facilitano lo scambio all'interno e tra gli attori organizzativi, stabilendo un "modello riconoscibile di azioni interdipendenti". Un primo esempio di come contenuto e contesto si fondono in scatole nere, e di come le routine possano diventare gabbie da cui è difficile uscire, è la controversia nata in Italia durante la seconda ondata della pandemia di Sars-CoV-2. A causa di un errore nel calcolo del numero dei contagiati secondo l\'algoritmo che calcolava il rischio di contagio in Italia, la regione Lombardia è stata classificata "rossa" (rischio alto) per la settimana dal 17 al 24 gennaio 2021. classificare in rosso ha comportato la sospensione delle attività del commercio al dettaglio, ad eccezione della vendita di generi alimentari e di prima necessità. Inoltre, in zona rossa, è vietato consumare cibi e bevande all\'interno di ristoranti e bar. Per l\'intera regione, la Federazione lombarda dei commercianti Confeserercenti ha stimato una perdita di circa 600 milioni di euro nel periodo considerato, e ha valutato di avviare un\'azione collettiva contro chiunque abbia causato danni ai commercianti. **Com\'è stato possibile che il numero calcolato di persone infette fosse superiore a quello reale e che l\'algoritmo di conseguenza suggerisse la decisione sbagliata?** Tutto è iniziato con il regolamento emanato il 12 ottobre 2020 dal Ministero della Salute italiano che per primo ha menzionato i casi positivi a lungo termine. Si definisce positivo a lungo termine colui che, pur non presentando più sintomi, continua a risultare positivo al test molecolare Sars-CoV-2 21 giorni dopo la comparsa dei primi sintomi. In questo caso una persona asintomatica da almeno una settimana può interrompere la quarantena ed essere considerata non contagiosa. Tale definizione ha aggiornato i criteri per l'interruzione dell'isolamento. Questo cambiamento nella descrizione delle persone infette ha tenuto conto soprattutto delle prove di uno studio cinese pubblicato su Nature Medicine nell'aprile 2020, che era stato citato dall'Organizzazione mondiale della sanità nel giugno 2000. Gli autori dello studio ha spiegato che la carica virale è molto elevata poco prima e nei primi giorni dopo l\'inizio dei sintomi. Successivamente, tende a diminuire gradualmente fino a diventare quasi irrilevabile il giorno 21. Nello stesso momento in cui la Lombardia è stata classificata come rossa, questa evidenza è stata confermata da un altro articolo pubblicato su The Lancet Public Health. A quanto pare, secondo quanto riportato dall\'Istituto Superiore di Sanità (ISS), sembrerebbe invece che in tutti i dati compilati settimanalmente dalla Regione Lombardia tra ottobre 2020 e gennaio 2021, i casi positivi a lungo termine apparissero come persone con sintomi di esordio ma senza descrizione del loro stato clinico (asintomatici, paucisintomatici, ecc.). Quindi sono stati tutti registrati dall'algoritmo come infetti, anche se in realtà molti di loro erano asintomatici da più di una settimana. Nell\'allegato tecnico che la Regione Lombardia ha inviato al TAR il 20 gennaio 2021, l\'Assessorato alla Sanità della Regione Lombardia ha sottolineato che fino ad allora la sovrastima era stata mascherata dal notevole aumento dei casi della seconda ondata (oltre 300mila). Per questo motivo solo alla fine di gennaio si sono potute notare le conseguenze di questo errore di calcolo. Per stimare quanto la scelta di questa nuova descrizione abbia influito sul calcolo dei contagi, si può considerare, che eliminando i casi per i quali è stata data l'indicazione dello stato clinico asintomatico dove prima era assente, nella settimana tra le 15 e al 30 dicembre 2020 il numero dei contagi si è ridotto drasticamente da 14.180 casi a soli 4.918. Il 23 gennaio 2021 il governatore della Lombardia, Attilio Fontana, ha dichiarato alla stampa che la Regione non aveva commesso un errore. Su richiesta dei giornalisti, ha sostenuto che l\'algoritmo utilizzato dall\'ISS potrebbe essere sbagliato. L\'Iss ha reagito immediatamente sostenendo che l\'algoritmo era corretto e funzionava allo stesso modo per tutte le regioni, ribadendo che era stata la Lombardia ad aver commesso l\'errore. Solo l\'autorità giudiziaria potrà accertare chi è realmente responsabile di questa ulteriore perdita economica e chi dovrà risarcire i negozianti per questo errore di calcolo che ha inibito erroneamente la loro attività commerciale. Questo esempio evidenzia chiaramente tutte le caratteristiche delle scatole nere e i loro limiti. Innanzitutto, la trasmissione dei dati da parte della Regione Lombardia all\'Iss si basava su routine che si svolgevano grazie alla scatola nera, in cui molto si dà per scontato. I flussi di routine di rapporti settimanali sui dati che hanno facilitato gli scambi tra gli attori organizzativi e gestito i dati tempestivi durante i sette mesi precedenti della pandemia sono diventati un ciclo ripetuto eseguito in modo acritico e in qualche modo rituale. Inoltre, la descrizione del numero dei contagi, erroneamente percepita come oggettiva e data per scontata, non è stata messa in discussione anche quando i parametri del calcolo sono cambiati a causa dell'incorporazione di ulteriori scoperte scientifiche legate alla diffusione del contagio. Per circa tre mesi il problema non è stato notato né dall'Iss né dalla Regione, che hanno continuato con la stessa routine. Ciò è avvenuto perché si presuppone che la descrizione del numero dei contagi sia il risultato di una valutazione tecnica indipendente e non il risultato di scelte scientifiche e politiche. Le conseguenze della decisione presa attraverso l'algoritmo sono rimaste incontestate finché non sono emerse le controversie. Parafrasando Latour, potremmo dire **che questo esempio mostra chiaramente le due facce degli algoritmi, algoritmi in costruzione e algoritmi pronti all\'uso, diversi come il Giano bifronte**. L'algoritmo che calcolava la diffusione del contagio, che sembrava così sicuro, oggettivo e indiscusso -- anzi, scatola nera -- è diventato invece un oggetto negoziabile, che mette in competizione tra loro gruppi di lavoro, che genera controversie, anche legali, e che ne rivela la contestualità e l'impatto accidentale e diseguale. Latour (1987) spiega che per scartare le scatole nere bisogna entrare dalla porta di servizio, quella che porta alla scienza in costruzione; ma l'analisi degli algoritmi in uso può essere importante anche per sollevare controversie che richiedono il disimballaggio delle scatole nere. Si noti che l\'oscurità non è sempre una caratteristica essenziale degli algoritmi. In linea di principio l'algoritmo che calcolava il rischio contagio per le regioni italiane era assolutamente bianco. È stato descritto in dettaglio, sia nel suo calcolo che nella descrizione dei 21 indicatori che costituiscono il suo input. Ma ciò non gli ha impedito di avere le caratteristiche di scatole nere (routine, date per scontate, descrizioni indiscusse, ecc.). Bucher sostiene che, invece di lottare con il fatto che gli algoritmi sono scatole e che sono neri, dovremmo adottare una concettualizzazione degli algoritmi in termini di ontologia relazionale, passando dal chiederci cosa sono gli algoritmi a cosa fanno effettivamente gli algoritmi. **Ciò che resta è che migliaia di persone hanno perso soldi perché le decisioni prese tramite l'algoritmo hanno avuto un impatto sulla loro vita, pur non avendo alcun impatto sulla vita di altri lavoratori con caratteristiche diverse, e questo è ciò che conta davvero.** **Disuguaglianza sociale digitale** Per chiarire cosa si intende per disuguaglianza sociale digitale, è necessario introdurre una distinzione tra tre termini che a volte vengono usati in modo intercambiabile: diversità, differenze e disuguaglianze. All\'origine c\'è diversità tra un individuo e l\'altro. Siamo tutti diversi gli uni dagli altri, non solo dal punto di vista fisico e biologico, ma anche per altri tipi di caratteristiche attribuite: il luogo in cui siamo nati, la famiglia da cui proveniamo, l\'ambiente sociale e naturale in cui viviamo. Ma la diversità si acquisisce anche attraverso esperienze, nozioni, conoscenze, competenze e cultura. Non è sufficiente per creare disuguaglianza: **è necessario un processo per trasformare alcune diversità in differenze socialmente significative** -- cioè in differenze riconoscibili e identificabili alla luce dei modelli socio-culturali prevalenti in una determinata società in un dato momento storico. Se le differenze diventano criteri di distribuzione delle risorse collettive, sia in termini materiali che simbolici, allora producono disuguaglianze. I criteri distributivi sono stabiliti sulla base, ad esempio, della divisione del lavoro, oppure da strutture di potere legittimate sul piano simbolico e ideologico. Pertanto, **la disuguaglianza si riferisce alla distribuzione ineguale delle risorse collettive (materiali e simboliche) nella società, che è determinata dalle strutture del potere e dell'economia, così come dagli universi simbolici e dalle rappresentazioni sociali e, sempre più, dalla tecnologia.** L\'esempio presentato in precedenza, relativo alla chiusura dei negozi in Lombardia, dimostra come una diversità acquisita (avere un determinato lavoro) venga trasformata da un modello socio-culturale in una differenza socialmente condivisa. Più specificatamente, la differenza comune in questo caso è la Nomenclatura delle Attività Economiche (NACE), che raggruppa le organizzazioni in base alle loro attività commerciali, uno strumento utilizzato quasi a livello globale per confrontare attività economiche simili. La NACE è stato il criterio in base al quale è stata presa la decisione di chiudere i negozi. L'algoritmo utilizzato per implementare il criterio può contribuire ad accelerare gli effetti delle disuguaglianze e ad automatizzarle. Eubanks spiega che il processo decisionale automatizzato può, a lungo termine, mandare in frantumi la rete di sicurezza sociale e intensificare la discriminazione, perché gli individui colpiti dalle decisioni sono presi di mira come membri di gruppi sociali, non come individui. L'analisi del legame tra tecnologia e disuguaglianza è stata condotta da diverse prospettive. La prima serie di argomentazioni affronta la questione del diverso uso delle tecnologie da parte di gruppi sociali con diversa istruzione, età, classe, genere ed etnia. In linea con la letteratura sul divario digitale, si sostiene che i gruppi svantaggiati hanno meno probabilità di accedere alla banda larga e alle tecnologie digitali; sviluppano quindi meno competenze e sono allo stesso tempo meno consapevoli dei rischi della tecnologia. La prima letteratura sul divario digitale è stata criticata per la sua tendenza a separare il sociale dal tecnologico, sottovalutando che è nel bivio tra svantaggio sociale e scarso accesso alle tecnologie che possono annidarsi le disuguaglianze sociali digitali. Il termine "disuguaglianze sociali digitali" ha il merito di affermare la natura bidirezionale del rapporto tra svantaggio sociale e mancato accesso alle tecnologie, da sempre considerato a senso unico. Non è semplicemente lo svantaggio sociale a portare a un accesso limitato, ma i fattori sociali strutturali e l'uso delle tecnologie digitali si configurano reciprocamente, si co-costituiscono. Quando gli svantaggi sociali, l'alfabetizzazione digitale insufficiente, la scarsa conoscenza della programmazione e l'accesso limitato alla tecnologia e a Internet sono intrecciati, gli individui possono essere più propensi, da un lato, a sottovalutare i rischi dei sistemi decisionali automatizzati e, dall'altro, avere poca fiducia nelle tecnologie algoritmiche. Ma come possono gli algoritmi generare o amplificare le disuguaglianze sociali? Airoldi (2020), partendo da una rassegna della letteratura in materia, evidenzia il modo in cui gli algoritmi implementati nei motori di ricerca e nelle diverse piattaforme online tendono a proporre i contenuti più popolari. Gli algoritmi hanno un'autorità algoritmica per influenzare quali fonti sono considerate più importanti e rilevanti. Questa è la logica implementata nel motore di ricerca Google, ad esempio, in piattaforme come YouTube e negli assistenti virtuali come Siri e Alexa. Tuttavia, le conseguenze sociali più pesanti della diffusione della cultura algoritmica si verificano quando gli algoritmi vengono utilizzati per scopi normativi e per la gestione dei servizi pubblici. Infatti, sistemi decisionali automatizzati vengono utilizzati sempre più spesso nella pubblica amministrazione, a volte con ottimi risultati, a volte con risultati non proprio incoraggianti, sollevando inquietanti interrogativi sul livello di equità. La disuguaglianza sociale digitale si concentra sul legame tra lo svantaggio sociale e la mancanza di alfabetizzazione digitale e dei dati. La scarsa conoscenza della codifica e della scienza dei dati, così come l'accesso limitato alla tecnologia e a Internet, possono comportare una mancanza di capacità di comprendere i rischi del processo decisionale algoritmico. Questa mancanza è fortemente correlata al genere, all'età, alla razza e alla classe, come hanno dimostrato molti esempi di ricerca. van Dijk (2020) ha raccolto 25 anni di ricerca in questo campo per affrontare tre ipotesi spesso affermate sulla relazione tra le tecnologie dell'informazione e della comunicazione (TIC) e le disuguaglianze (le TIC riducono la disuguaglianza sociale; le TIC non fanno alcuna differenza; le TIC aumentano la disuguaglianza sociale). Nel valutare le prove, in definitiva afferma che la disuguaglianza digitale oggi non solo riflette, ma tende anche a rafforzare la disuguaglianza sociale. Noble (2018) parla di **redlining tecnologico**, ovvero della perpetuazione delle disuguaglianze razziali, culturali ed economiche nelle tecnologie. Il concetto di redlining deriva da una storia di discriminazione abitativa iniziata negli anni '30, quando le linee rosse venivano letteralmente tracciate sulle mappe per segregare i poveri e i dominanti quartieri neri. Oggi, il redlining si concretizza in decisioni automatizzate basate su razza, genere e geografia. La causa del ridimensionamento tecnologico è individuata nell'asimmetria di potere tra i creatori delle TIC e coloro che ne sono maggiormente colpiti, le persone più svantaggiate. Nguyen (2019) conclude che per affrontare l'esclusione sociale digitale, le aziende tecnologiche dovrebbero calibrare il proprio processo di assunzione per garantire una maggiore inclusione delle persone di colore, delle donne, ecc. Al contrario, gli uomini bianchi dominano i ruoli IT e i dipartimenti informatici delle università**. Senza diversità nell'educazione informatica, non sarà possibile ridurre il ridimensionamento tecnologico.** Le cose diventano ancora più problematiche con la crescente implementazione della tecnologia digitale da parte degli enti pubblici al fine di automatizzare i sistemi decisionali e l'ammissibilità per servizi e politiche. Secondo il Parlamento europeo, i cittadini europei dovrebbero diventare consapevoli della governance algoritmica e dell'elaborazione automatizzata dei dati, altrimenti le disuguaglianze sociali digitali alla fine mineranno il senso di fiducia nella pubblica amministrazione e nei governi. Come prevede Noble (2018), l'intelligenza artificiale diventerà una delle principali questioni legate ai diritti umani nel ventunesimo secolo. **Trasparenza e responsabilità degli enti pubblici** La necessità di verificare gli algoritmi è in linea con un movimento progressista che ha sostenuto che i cittadini dovrebbero avere il diritto di accedere ai documenti e ai procedimenti dei governi per consentire un controllo pubblico efficace. Gli obiettivi di sviluppo sostenibile delle Nazioni Unite, ad esempio, incoraggiano l'accesso pubblico alle informazioni come criterio per garantire istituzioni responsabili e inclusive. La richiesta di accesso del pubblico è il risultato della crescente importanza che la trasparenza e l'accountability -- l'obbligo per un soggetto di essere responsabile delle proprie decisioni e dei risultati raggiunti -- stanno acquistando in questi tempi. La trasparenza algoritmica è stata discussa a livello professionale, governativo e di attivisti. La trasparenza ha un duplice obiettivo, cognitivo e normativo. Da un lato, mira a restituire informazioni a tecnici e policy maker per riorientare e migliorare l'azione politica; dall'altro permette ai cittadini di sapere se le politiche attuate hanno avuto o meno gli effetti attesi. La trasparenza algoritmica può essere praticata dalle istituzioni in due modi principali. Innanzitutto, un'istituzione può diventare trasparente passando dalla scatola nera a quella bianca, in modo che non solo siano noti gli input e gli output, ma anche il modo in cui l'istituzione funziona al suo interno. Questo tipo di trasparenza ha avuto origine molto tempo fa negli stati nazionali europei, quando i filosofi discutevano sulla costruzione di uno stato democratico, ma è diventato un punto focale nella politica contemporanea grazie alle opportunità offerte dalle TIC. La trasparenza è legata all'idea di governo aperto. L'Unione Europea ha lanciato nel 2011 l'Open Government Partnership, un'iniziativa per l'apertura, la trasparenza e la partecipazione civica che vede oggi il coinvolgimento di 78 governi che si impegnano ad attivare un piano d'azione aperto in **cinque aree tematiche**: partecipazione, trasparenza, integrità , responsabilità e innovazione tecnologica. La visione contemporanea del governo aperto trova i suoi più forti sostenitori nelle organizzazioni non governative, le quali sostengono che gli standard di apertura sono vitali per il successo duraturo e il progresso delle società democratiche. Floridi (2014) sottolinea che esiste anche un altro senso innovativo di trasparenza: questo avviene quando la tecnologia è trasparente non perché è bianca, ma "perché fornisce i suoi servizi in modo così efficiente, efficace e affidabile che la sua presenza è impercettibile.... si può parlare di governi gentili» (pp. 188-189). I limiti della trasparenza sono stati dibattuti. Se l'apertura può rappresentare la prima risposta all'opacità algoritmica, ciò non porterà automaticamente alla trasparenza se tali informazioni non vengono comprese dal pubblico di riferimento. Come notato in precedenza, l'impatto degli algoritmi non dovrebbe essere stimato senza spiegare il modo in cui si inseriscono nelle reti di persone e nei sistemi esistenti che ne fanno uso. Gli algoritmi non possono essere separati dalle pratiche in cui sono progettati, programmati e utilizzati. Le misure verso la responsabilità algoritmica sono quindi più efficaci se le consideriamo una proprietà degli assemblaggi socio-tecnici di persone e macchine. Vi è quindi una crescente necessità di studi che valutino le condizioni in cui le misure di trasparenza producono effettivamente effetti positivi favorendo una relazione produttiva con il pubblico. Al contrario, molte teorizzazioni della trasparenza sono considerate a priori come emancipatorie, rivelatrici e responsabilizzanti, senza riferimento all'obiettivo. Kemper e Kolkman (2019) spiegano che dovremmo chiederci: trasparente per chi? La trasparenza deve essere intesa come significativa per un dato target affinché possa emergere qualsiasi impegno (critico). Per questo motivo, **la trasparenza non è la risposta definitiva all'opacità algoritmica.** Dovrebbero essere sviluppate altre misure per educare un pubblico critico di cittadini e decisori rilevanti e diffondere la conoscenza sugli algoritmi. Una chiave per la trasparenza è infatti la **consapevolezza algoritmica**, ovvero la misura in cui i cittadini e altri attori sociali individuali e collettivi sono consapevoli di essere oggetti e soggetti dell'autorità algoritmica. Innanzitutto, le persone dovrebbero prendere coscienza di essere produttori e proprietari di dati, e della loro (limitata) capacità di gestire/utilizzare/proteggere i dati. Inoltre, dovrebbero aumentare la consapevolezza di essere sempre più governati da sistemi decisionali e punteggi algoritmici. In un contesto di società ad alta intensità di dati, la consapevolezza algoritmica è un mezzo importante per promuovere l'inclusione sociale. Solo attraverso questo tipo di consapevolezza sarebbe possibile costruire una trasparenza significativa, e il rischio è che la trasparenza sia inutile se non c'è un impegno critico. È tempo di promuovere un percorso verso la comprensione, l'interpretazione e la valutazione delle decisioni guidate dagli algoritmi e delle argomentazioni basate sugli algoritmi per tutti i cittadini. Al fine di migliorare la consapevolezza dell'autorità algoritmica, il Gruppo di esperti scientifici per il futuro della scienza e della tecnologia del Parlamento europeo ha suggerito di sviluppare una ricerca multidisciplinare e interdisciplinare. Filosofi ed esperti in etica, intelligenza artificiale, informatica, scienze sociali e diritto dovrebbero lavorare insieme per sviluppare una maggiore comprensione delle questioni sollevate dal processo decisionale algoritmico. Più specificamente, per sviluppare un pubblico di esperti in trasparenza dovrebbero unire le forze per comprendere i tipi di resoconti e spiegazioni più utili a seconda del pubblico target e delle loro esigenze. Ulteriori progressi devono essere compiuti anche per quanto riguarda l'attuazione della trasparenza fin dalla progettazione. Gli esperti del Panel hanno sostenuto che una condizione chiave per facilitare la ricerca è la possibilità per gli studiosi di ottenere l\'accesso, a condizioni specifiche e con la massima riservatezza, ai set di dati. Tuttavia, esistono diverse limitazioni alla trasparenza dei set di dati. Innanzitutto, pubblicizzare un set di dati può significare una perdita di privacy. Inoltre, le tecnologie ad alta intensità di dati di solito sono protette da copyright e brevetti; pertanto, è possibile che non venga mai ottenuta una divulgazione completa. Ultimo ma non meno importante, la mancanza di alfabetizzazione dei dati limita la capacità dei cittadini e degli utenti di esprimere il proprio potere d'azione nella loro interazione con questi sistemi algoritmici, con la conseguenza involontaria di indebolire la pressione sullo Stato e sul mercato per regolamentare il settore. I modi per aumentare la consapevolezza dei cittadini e dei gruppi sociali sui dati, sugli algoritmi e sul potere da essi esercitato dovrebbero essere pienamente sviluppati attraverso programmi educativi di lunga durata. Gli attivisti spesso insistono per la trasparenza come soluzione al problema della scatola nera, ma la trasparenza può semplicemente provocare una complessità che oscura la comprensione delle persone non realmente abituate alla logica algoritmica e che non sono adeguatamente alfabetizzate in termini di dati. **La mancanza di fiducia** Se esiste il rischio che i processi algoritmici possano avere esiti ingiusti, ciò mina i sentimenti di sicurezza e di fiducia dei cittadini nei processi stessi e nelle istituzioni che li utilizzano. Chignard (2013) ha osservato che gli attori più determinati ad essere trasparenti sono anche quelli più preoccupati dalla crisi di fiducia che colpisce la società: politici, istituzioni pubbliche, aziende coinvolte nei settori dell'energia, dei trasporti, del credito, dell'ambiente, ecc. In pratica, la trasparenza è percepita come una risposta alla sfiducia e alla diffidenza che i cittadini nutrono nei confronti di alcune imprese e istituzioni, e dei loro rappresentanti. Uno dei motivi di questa sfiducia è **il timore distopico che le macchine possano sostituire gli uomini nelle decisioni.** Questa convinzione è sostenuta da coloro che pensano che le macchine prendano le decisioni; **va invece sottolineato che gli algoritmi non prendono decisioni, sono semplicemente delegati a prendere decisioni per agenti che sono responsabili delle decisioni prese**. L'intervento umano nei processi algoritmici è elevato e il tessuto algoritmico ha una trama umana: **non esistono algoritmi non supervisionati; piuttosto, ci sono persone che decidono se una determinata soglia è accettabile o meno, o quale fonte di dati deve essere utilizzata in una situazione specifica**. L'intervento umano è stato recentemente enfatizzato strategicamente per prevenire la disumanizzazione del processo decisionale automatizzato. Esempi sono l'uso dell'apprendimento supervisionato invece dell'apprendimento automatico non supervisionato, o la transizione dall'intelligenza artificiale alla cosiddetta intelligenza artificiale umana, che è l'intelligenza artificiale incentrata sulle persone. Il secondo elemento di sfiducia è che l'uso estensivo degli algoritmi porterebbe a una forma di governo tecnocratico in cui il ruolo delle ICT sarebbe decisivo. Un esempio di processo tecnocratico spesso citato dai critici degli algoritmi è la governance anticipatoria, una forma di profilazione che viene utilizzata per prevedere il comportamento futuro e guidare gli interventi da realizzare. Questa forma di profilazione è molto apprezzata per regolamentare ispezioni e controlli di polizia -- ad esempio negli aeroporti, dove gli algoritmi classificano i passeggeri in base a diversi livelli di pericolo, con il risultato che ricevono un trattamento diverso a seconda di ciò che possono o non possono fare. Un ulteriore esempio è l'analisi delle tracce online, dei sensori e dell'Internet of Things nei contesti urbani e nelle smart city, che genererebbe effetti del Grande Fratello in cui la pervasività della tecnologia diventa uno strumento di controllo. Queste critiche sono state alimentate dai sospetti sollevati da giornalisti e informatori sull'uso di algoritmi per controllare i cittadini. Secondo l'informatore Snowden, ad esempio, attraverso PRISM, un programma di sorveglianza iniziato nel 2007 in seguito all'approvazione del Protect America Act sotto l'amministrazione Bush, la National Security Authority (NSA) ha raccolto ed elaborato algoritmicamente dati di massa molto più grandi di quanto il pubblico sapesse. I funzionari del governo statunitense hanno contestato le critiche rivolte a PRISM e hanno difeso il programma. Tuttavia, le dichiarazioni di Snowden e di altri informatori hanno sollevato alcuni dubbi etici e politici sugli algoritmi e sul loro uso governativo. Un'ulteriore fonte di sfiducia evocata per impedire l'autorità algoritmica è che i big data, le infrastrutture di dati e le tecnologie correlate per gestire e analizzare i dati, insieme ai sistemi algoritmici, potrebbero accelerare la privatizzazione della sfera pubblica, perché questi tipi di attività sono governati dalle principali società di software e hardware e provengono dalle principali società di comunicazione e logistica. Sebbene non possiamo essere pienamente d'accordo con queste critiche, affinché i sistemi algoritmici automatizzati siano realmente efficaci non solo nel breve ma anche nel medio e lungo termine, è necessario pensare a come favorire la fiducia. Un modo per creare fiducia nei sistemi algoritmici è visto in ciò che alcune società di consulenza stanno cercando di costruire attorno a soluzioni governative ricche di tecnologia. Con la città di Amsterdam, ad esempio, KPMG, insieme alla studiosa di algoritmi critici Cathy O\'Neil, **stanno proponendo soluzioni per monitorare le soluzioni algoritmiche e le loro prestazioni rilevando, da un lato, la capacità di organizzare il controllo dell\'adozione di soluzioni automatizzate in modo efficace e, dall'altro, analizzando gli impatti che questi sistemi hanno sulle organizzazioni.** Queste soluzioni di controllo proattivo, implementate da partenariati pubblici e privati sotto la sorveglianza di organismi terzi, che vedono un ruolo importante per i ricercatori, possono davvero essere il modo più efficace per promuovere la fiducia nei sistemi decisionali automatizzati. Queste soluzioni anticipano i rischi della governance algoritmica e hanno più successo nel creare fiducia rispetto a quella che viene semplicemente definita trasparenza, che, senza un pubblico efficace, non porta da nessuna parte. **Conclusioni** Il capitolo evidenzia che il successo degli algoritmi nella pubblica amministrazione dipende dalla capacità di produrre prove empiriche sulla loro qualità, il loro impatto sociale e il rischio di generare disuguaglianze. Non esistono algoritmi intrinsecamente buoni o cattivi; la posizione ideale è intermedia, critica verso l\'uso indiscriminato ma favorevole a un utilizzo consapevole e trasparente delle decisioni automatizzate. Questo approccio consapevole non ostacola la diffusione dei sistemi decisionali basati sui dati, ma ne favorisce il miglioramento. L\'adozione consapevole degli algoritmi richiede un attento esame dei loro pro e contro, basato su risultati di ricerca. L\'audit degli algoritmi è essenziale per monitorare l\'autorità algoritmica e prevenire che la governance algoritmica agisca senza interventi umani, creando nuove forme di disuguaglianza sociale. **CAPITOLO 2 - WHAT** La parola \"audit\" deriva dal latino audire, che significa \"sentire\". L\'audit è stato adottato fin dall\'antichità e si è esteso a molti campi, prima nel settore privato e poi in quello pubblico. Il termine è più frequentemente utilizzato per verificare gli stati finanziari di una persona giuridica. Le revisioni contabili possono fornire ai mercati finanziari e agli altri stakeholder una garanzia indipendente che l\'attività di una persona giuridica sia gestita in modo etico. La figura professionale che ha la competenza di effettuare una revisione contabile è chiamata auditor. I termini \"audit\" e \"revisore\" sono fortemente codificati e hanno significati diversi (in norme e regolamenti definiti) a seconda del tipo di audit specifico. L\'introduzione di standard di garanzia della qualità (ad esempio, l\'Organizzazione Internazionale per la Standardizzazione \[ISO\]) ha reso il concetto di audit diffuso e praticato. Ad esempio, le norme ISO sui sistemi di gestione definiscono l\'audit come un processo sistematico, indipendente e documentato per ottenere evidenze e valutarle in modo oggettivo. L\'audit può avere diversi obiettivi, quali: Verificare il grado di conformità rispetto a uno standard o a una procedura. qualificare un fornitore Rilascio di un certificato di conformità Valutare l\'efficacia delle azioni correttive intraprese verificare e monitorare i servizi Acquisire informazioni sul grado di competenza e consapevolezza delle persone. Ottenere un punteggio (o una classifica) rispetto a una scala che misura una determinata prestazione. La necessità di sottoporre a revisione le aziende e le organizzazioni è nata dal fatto che le loro operazioni interne, come gli algoritmi, appaiono come scatole nere agli occhi di chi sta all\'esterno. I revisori indipendenti dovrebbero quindi fornire una ragionevole garanzia che ciò che esce dalla scatola nera sia privo di inesattezze. La stessa logica si applica agli algoritmi. Negli ultimi anni, la necessità di sottoporre a revisione i sistemi decisionali algoritmici, l\'IA e, tutte le applicazioni governative di tecnologie ad alta intensità di dati è stata discussa a vari livelli da accademici, ONG e governi. In tutto il mondo sono state proposte diverse linee guida. In Nord America, ad esempio, l\'IEEE ha proposto l\'Ethically Aligned Design, mentre il governo federale canadese ha approvato la Directive on Automated Decision-Making, con l\'obiettivo di sostenere la trasparenza e la responsabilità pubblica nell\'adozione di tecnologie decisionali automatizzate. ***In Europa, l\'UE ha approvato le Linee guida etiche per un\'IA affidabile e il Parlamento europeo sta discutendo un quadro di governance per la responsabilità e la trasparenza degli algoritmi.*** Il Regolamento generale sulla protezione dei dati (GDPR) richiede già che le organizzazioni dell\'UE siano in grado di spiegare le loro decisioni algoritmiche. Anche Amnesty International UK ha pubblicato i suoi cinque principi generali per un codice AI. In Asia, Singapore ha dichiarato il suo Model Artificial Intelligence Governance Framework e Taiwan ha adottato le Guidelines for the Research and Development of AI. Il Ministero degli Affari Interni e delle Comunicazioni del Giappone ha redatto i suoi principi sull\'IA, oltre ad altre linee guida sull\'etica elaborate dalla Japan Deep Learning Association (JDLA) e dall\'Università di Tokyo. Alcuni principi si concentrano sulla progettazione degli algoritmi, mentre altri riguardano maggiormente il loro utilizzo e l\'impatto sulle parti interessate. Alcune linee guida partono da ideologie europee, mentre altre sono state proposte da punti di vista asiatici. Sebbene in totale siano stati proposti più di 115 principi, essi convergono grosso modo su alcuni aspetti. Innanzitutto, gli algoritmi devono essere accessibili e spiegabili e devono rientrare nei meccanismi di responsabilità dei governi. Inoltre, la qualità e la sicurezza dei dati devono essere una delle principali preoccupazioni e i dati devono essere adeguatamente protetti durante il loro intero ciclo (dall\'input all\'output). Tutte le linee guida e i quadri di riferimento riconoscono anche che gli algoritmi possono avere un impatto negativo, soprattutto sui gruppi vulnerabili (ad esempio, i poveri e le minoranze etniche), e l\'urgenza che i governi li gestiscano in modo equo. Infine, si sottolinea sempre che lo sviluppo e la diffusione della governance algoritmica mirano a migliorare il benessere umano, i diritti dei cittadini, la democrazia, lo sviluppo sostenibile e la sicurezza. Come possiamo produrre prove scrutabili che tutto questo sia stato realizzato? L\'audit degli algoritmi è di natura interdisciplinare e dovrebbe integrare il pensiero critico, la competenza professionale, le capacità di comunicazione e l\'uso del metodo scientifico. Se gli informatici devono impegnarsi nell\'ottimizzazione del modello per trovare modelli nei dati, è lo scienziato sociale che può porre domande più critiche sulla qualità e sulla rilevanza dei dati per gli obiettivi del modello. Altre domande importanti sono: *L\'algoritmo è sufficientemente trasparente nei confronti degli obiettivi? Persegue valori sociali tollerabili? Ci sono prove di distorsioni interne o di incompetenza nella sua progettazione? Spiega adeguatamente come arriva a una decisione? Che impatto ha sull\'istituzione che lo ha adottato?* Queste domande più ampie dovrebbero essere incluse nell\'audit degli algoritmi, spostando l\'adozione degli algoritmi da una semplice sfida tecnica a una sfida governativa e sociale. Per illustrare il significato di tutto ciò, si consideri l\'uso degli algoritmi nella polizia predittiva. La polizia predittiva si basa sull\'ipotesi che alcuni aspetti dell\'ambiente fisico e sociale incoraggino atti criminali prevedibili. La polizia predittiva mira a \"prevedere dove e quando avverrà il prossimo crimine\". Le unità target della polizia predittiva possono andare da diverse aree territoriali o governative a un singolo individuo e possono essere classificate approssimativamente in tre tipi. La polizia basata sull\'area si rivolge al luogo in cui è più probabile che si verifichino atti illeciti. La polizia basata sugli eventi si rivolge al crimine che è più probabile che si verifichi. La polizia basata sulla persona si rivolge all\'individuo che ha maggiori probabilità di essere coinvolto in reati. Tra queste, la polizia predittiva basata sulla persona è la più controversa, poiché individua gli individui e ne valuta il rischio in base alle caratteristiche personali. Un caso famoso di polizia predittiva che ha suscitato molte preoccupazioni è il Correctional Offender Management Profiling for Alternative Sanctions(COMPAS). Si tratta di uno strumento decisionale algoritmico sviluppato e di proprietà di Northpointe e utilizzato dai tribunali statunitensi in molti Stati per valutare la probabilità che un imputato diventi recidivo. Una prima critica generale all\'uso di software proprietari come COMPAS è che, poiché gli algoritmi utilizzati sono segreti commerciali, non possono essere esaminati dal pubblico. Inoltre, viene messa in discussione l\'equità di questo strumento, perché potrebbe esacerbare le disuguaglianze. Inoltre, la sua progettazione può comportare distorsioni nella selezione, in cui particolari caratteristiche hanno effetti preoccupanti sui risultati, e la sua implementazione ha un impatto enorme sulle istituzioni che lo adottano. Avere accesso a 7.000 punteggi di rischio assegnati alle persone arrestate nella contea di Broward, In Florida, nel 2013 e 2014, un\'indagine di Propublica1 ha controllato il numero di imputati accusati di nuovi reati nei due anni successivi, lo stesso parametro di riferimento utilizzato dai progettisti dell\'algoritmo. Il team di Propublica ha scoperto che gli imputati neri avevano quasi il doppio delle probabilità rispetto ai bianchi di essere etichettati come ad alto rischio di recidiva ma di non commettere effettivamente reati, mentre gli imputati bianchi avevano molte più probabilità dei neri di essere etichettati come a basso rischio ma di commettere altri reati. Il calcolo del punteggio di rischio deriva da 137 domande a cui gli imputati rispondono o che vengono estratte dal casellario giudiziario. La razza non è una domanda, ma l\'algoritmo considera il livello di istruzione e il fatto che l\'imputato abbia un lavoro. Il software COMPAS è uno degli strumenti di valutazione più utilizzati negli Stati Uniti. Northpointe non divulga pubblicamente i calcoli utilizzati per ottenere i punteggi di rischio degli imputati, quindi né gli imputati né il pubblico possono esaminare l\'algoritmo. Gli imputati hanno raramente la possibilità di contestare le loro valutazioni. I risultati vengono solitamente condivisi con l\'avvocato dell\'imputato, ma i calcoli che hanno trasformato i dati sottostanti in un punteggio sono raramente rivelati. Come spesso accade con gli strumenti di valutazione del rischio, molte giurisdizioni hanno adottato il software e i giudici ricevono le valutazioni Northpointe degli imputati durante la sentenza per facilitare e velocizzare il loro lavoro. Il software COMPAS viene citato come esempio di disuguaglianza algoritmica, perché i diversi tassi di falsi positivi rilevati dal team di Propublica suggeriscono un pregiudizio razziale. Ma Northpointe ha sostenuto che l\'algoritmo non è diseguale, perché il tasso di recidiva è approssimativamente lo stesso indipendentemente dalla razza dell\'imputato; un punteggio elevato significa approssimativamente la stessa probabilità di recidiva. Cambiando il punto di riferimento per valutare l\'ineguaglianza, l\'algoritmo di recidiva ha dimostrato equità. Sebbene la polizia predittiva rimanga un esempio controverso e contestato di governance algoritmica, questi risultati dimostrano che l\'uguaglianza degli algoritmi è tutt\'altro che incontestata. Dimostrano inoltre che la verifica degli algoritmi richiede la definizione operativa di termini quali qualità, equità e impatto. L\'audit degli algoritmi è una parte importante della sfida più ampia della creazione di sistemi decisionali algoritmici affidabili e della definizione e implementazione di standard per lo sviluppo e l\'impiego di algoritmi nella sfera pubblica. Per definire più precisamente cosa sia l\'audit degli algoritmi, dobbiamo fare riferimento ai quattro elementi principali su cui dovrebbe essere espressa la valutazione degli esperti: **[i dati, il modello, l\'equità e l\'impatto]**. È valutando e valutando questi quattro elementi fanno sì che gli algoritmi possano riflettere sempre di più i valori sociali condivisi. **I dati** I dati inseriti negli algoritmi dovrebbero essere della migliore qualità. Sfortunatamente, la qualità dei dati non è assoluta; la qualità dei dati è composta da molte dimensioni e spesso la qualità dei dati deve essere valutata considerando i diversi compromessi tra le sue componenti. Secondo le principali definizioni adottate da Eurostat (2009) e l\'OCSE, esistono almeno cinque dimensioni principali della qualità dei dati: accuratezza, tempestività, comparabilità, rilevanza e accessibilità, pertinenza e accessibilità. **Accuratezza** Quando si pensa alla qualità dei dati, spesso si pensa all\'accuratezza. L\'accuratezza è il grado di prossimità dei calcoli o delle stime ai valori esatti o reali che i dati ai valori esatti o veri che i dati sono destinati a misurare. Il concetto di accuratezza è ulteriormente suddiviso in errore di selezione e di non selezione. La differenza tra il valore di una popolazione e una stima derivata da una selezione di quella popolazione è un errore di selezione. Un esempio di errore di selezione è l\'errore di copertura. Un errore di copertura si verifica quando la popolazione target non coincide con la popolazione disponibile. Per esempio, il calcolo del rischio di contagio da COVID-19 in Lombardia è stato un tipico caso di sovracopertura, in quanto persone che avrebbero dovuto essere considerate guarite sono state in realtà considerate ancora infette. Al contrario, un esempio di errori di non selezione è la registrazione selettiva. La registrazione selettiva si riferisce all\'uso di informazioni non registrate per definire una situazione e registrare i rispettivi dati. Tutti i dati secondari possono soffrire di questo problema, è utile stimare il suo effetto sui nostri dati. La registrazione selettiva è stata evidenziata per la prima volta da Cicourel, il quale ha spiegato che quando analizzando i dati per il suo libro sulla giustizia minorile, ha trovato difficile perché in alcuni casi la polizia abbia deciso di non presentare un\'istanza al tribunale dei minori e di dare al minore "un\'altra possibilità". Secondo lui, le decisioni erano spesso arbitrarie perché nessuna categoria di codifica era adeguata a cogliere le variazioni emerse. Questo è un problema comune quando si utilizzano domande a scelta fissa. Le strategie di codifica sono necessarie per commisurare i dati, ma spesso travisano la realtà. Inoltre, la registrazione selettiva può essere impiegata per nascondere alcune. Come nota Lauriault, infatti, gli utenti dei dati non dovrebbero dimenticare che le banche dati sono il risultato della formazione di quali domande vengono poste, come si risponde, come vengono utilizzate le risposte e chi può porle. **Tempestività** Gli algoritmi e i big data permettono un\'analisi rapida e decisioni quasi in tempo reale. Tuttavia, la tempestività dei dati è difficile da garantire perché strettamente legata alla loro qualità. Dati accurati richiedono tempo e la necessità di avere dati comparabili può rallentarne la raccolta. Inoltre, dati tempestivi necessitano di un\'alta accessibilità. Sagiroglu e Sinanc (2013) spiegano che la tempestività dei dati dipende da come sono archiviati: i sistemi batch aggiornano i database a intervalli programmati, mentre i sistemi in tempo reale e i flussi di dati forniscono dati analizzati immediatamente o senza intervallo di tempo. Kitchin (2014) osserva che gestire grandi quantità di dati continui è una sfida per gli enti pubblici, ma il monitoraggio quasi in tempo reale è visto come un cambiamento cruciale nel policymaking grazie ai big data. La tempestività dei big data, che consente decisioni collettive quasi immediate, è una giustificazione chiave per l\'uso di sistemi algoritmici. Un esempio pratico è quello delle città intelligenti, dove strumenti sempre attivi come sensori e telecamere sono utilizzati per gestire sicurezza, inquinamento e traffico. **Comparabilità** La confrontabilità dei dati riguarda l\'effetto delle differenze nelle definizioni operative e nei concetti applicati sulla possibilità di comparare i dati. La comparabilità non è assoluta, ma esiste in \"gradi\". I problemi di comparabilità derivano dalle differenze nei criteri di comparazione, sia per i dati prodotti nel tempo dalla stessa fonte, sia per quelli prodotti contemporaneamente da fonti diverse. Queste differenze possono essere dovute a vari fattori metodologici, come la scelta degli indicatori, le definizioni operative, le unità di analisi, il riferimento temporale e le strategie di raccolta. I metadati, cioè i dati sui dati, possono migliorare la comparabilità e l\'integrazione dei dati da diverse fonti, rendendoli chiari e interpretabili senza ambiguità. Sono particolarmente utili quando i dati sono organizzati in infrastrutture come magazzini di dati e sistemi informativi, dove diverse insiemi di dati si uniscono in un unico ambiente. La necessità di dati comparabili è stata sottolineata durante la pandemia di COVID-19 per aiutare le autorità sovranazionali, come l\'OMS, a intraprendere azioni coordinate. Per esempio, i metadati sulle definizioni europee dei decessi da COVID-19 hanno evidenziato differenze nel conteggio dei decessi. Alcuni paesi seguono la definizione dell\'OMS, considerando i casi clinicamente confermati o probabili, mentre altri si basano su test di laboratorio positivi. La documentazione e i metadati permettono di comprendere e spiegare queste differenze, evidenziando i diversi gradi di comparabilità dei dati. **Rilevanza** Se possiamo dire approssimativamente che l\'accuratezza, la tempestività e la comparabilità si riferiscono alla produzione dei dati, esistono altre dimensioni della qualità dei dati, la rilevanza e l\'accessibilità, che riguardano piuttosto le loro possibilità di utilizzo. La rilevanza è generalmente definita come la corrispondenza dei dati con gli obiettivi degli utenti. Trivellato chiarisce che i dati che rispondono ad alcuni obiettivi e bisogni possono non essere rilevanti per altri obiettivi specifici. Ad esempio, si osserva che nell\'UE molti dati statistici che sono rilevanti per la Commissione Europea non sono affatto rilevanti per le amministrazioni locali che devono raccogliere i propri dati per analizzare i bisogni, monitorare e valutare le politiche. Considerando la rilevanza dei dati per i vari soggetti, riconosciamo che chiunque può approcciarsi ai dati a parità di condizioni; cioè, i dati dovrebbero essere considerati come beni pubblici. Il valore dei beni pubblici è inverso alla loro scarsità; più il bene è diffuso, più alto è il suo valore. Al contrario, i dati sono spesso considerati un bene privato e, soprattutto nel settore dei big data, quei pochi che li possiedono hanno l\'interesse di dare valore a questo bene sulla base della scarsità. Pertanto, più raro è il bene, più alto è il suo valore. Per valutare la rilevanza dei dati, dovremmo chiedersi chi siano esattamente gli utenti e quali obiettivi abbiano realmente. Non è possibile che gli stessi dati siano rilevanti per tutti gli utenti. Per esempio, i dati immessi nel software COMPAS, potrebbero in linea di principio servire obiettivi diversi da quelli dei tribunali. Gli avvocati possono analizzarli per valutare il profilo dei loro imputati, oppure le carceri di Stato possono trarre informazioni sul livello di rischio dei loro detenuti. Tuttavia, questo difficilmente accade, perché questi dati sono costruiti per rispondere a domande specifiche e non ad altre. La rilevanza deve quindi essere valutata chiarendo gli scopi principali e secondari. **Accessibilità** L\'accessibilità si riferisce ai mezzi fisici attraverso i quali gli utenti possono ottenere i dati (dove andare, come ordinare, tipi di formati \[microdati e macrodati disponibili, ecc.\]). È una questione fondamentale e, alcune criticità di accesso sono state superate attraverso iniziative di dati aperti e la costruzione di archivi di dati e infrastrutture dati che mirano a condividere e rendere disponibili i dati. Tuttavia, l\'accessibilità dei dati governativi da parte dei cittadini, delle imprese e degli altri portatori di interesse dipende dalla fornitura dei dati in formati e procedure che consentono l\'uso dei dati da parte di chiunque e per tutti gli scopi potenziali. Le principali caratteristiche dei dati accessibili comprendono la loro fornitura gratuita, l\'accesso illimitato e in formati leggibili dalle macchine. Secondo l\'OCSE (2015), molti paesi hanno iniziato a utilizzare le proprie piattaforme di dati aperti per coinvolgere cittadini, ricercatori e altri portatori di interesse e fornire accesso ai loro dati. Tuttavia, l\'accesso ai dati degli algoritmi è talvolta percepito come critico a causa di preoccupazioni sulla privacy. Le violazioni della privacy possono sorgere sia quando i dati personali sono trattati come parte del processo governativo sia quando questi vengono rilasciati a terzi per l\'esame pubblico. Un esempio del primo è ciò che è successo nei Paesi Bassi quando il governo olandese ha iniziato a utilizzare il Sistema di Indicazione del Rischio (SyRI) per individuare frodi nel welfare. Il sistema aveva accesso e elaborava dati su lavoro, multe, sanzioni, imposte, proprietà, alloggi, istruzione, pensioni, debiti, benefici, sovvenzioni, permessi ed esenzioni, e gli era permesso di incrociare i dati per individuare \"profilo cittadini improbabili\" che necessitavano di ulteriori indagini. SyRI è stato implementato senza alcuna trasparenza per i cittadini su ciò che è successo con i loro dati, e il 5 febbraio 2020, il tribunale olandese dell\'Aia ha ordinato l\'immediato blocco di SyRI perché viola l\'articolo 8 della Convenzione europea sui diritti dell\'uomo (CEDU), che protegge il diritto al rispetto della vita privata e familiare. Un diverso problema di privacy si verifica quando i dati di addestramento sono resi accessibili a terzi. Spesso sono richiesti dati sensibili per individuare e cercare di ridurre il bias algoritmico, ponendo domande pratiche e legali. In Europa, ad esempio, il controllo del bias algoritmico utilizzando dati sull\'etnia o sulla salute richiederebbe il consenso esplicito del soggetto dei dati ai sensi del GDPR. Sono state avanzate varie proposte per affrontare questo tipo di problema di privacy, la maggior parte delle quali anonimizzano i set di dati di addestramento e i modelli generati. **THE MODEL** L\'auditing del modello dell\'algoritmo consiste nella definizione degli attributi da associare al successo dell\'algoritmo, in che modo essi si relazionano a questo successo e i mezzi utilizzati per ottimizzare e calibrare il modello. Come detto in precedenza, il modello finale è il risultato di una serie di discussioni, compromessi e negoziati tra i diversi attori umani (informatici, data scientist, esperti del settore, ecc.) e non umani (piattaforme, codici, software, ecc.) che partecipano alla co-costruzione dell\'algoritmo. Ci sono molte ragioni per auditare i modelli. Innanzitutto, nonostante la loro presunta imparzialità, i modelli riflettono obiettivi e valori, che dovrebbero essere resi espliciti. O\'Neil (2016) considera gli algoritmi come opinioni formalizzate in codice, e la definizione del successo di un modello è anche questione di opinione. I successi di un modello sono spesso contati in termini di profitto, ma questa forma di successo non può essere lo standard per i modelli algoritmici pubblici. Un altro punto è che è difficile valutare il successo di un modello quando si basa sull\'apprendimento automatico. L\'apprendimento automatico è il processo di risoluzione di un problema pratico raccogliendo un set di dati e costruendo algoritmicamente un modello statistico basato su quel set di dati. Ad esempio, tornando agli algoritmi di recidiva, un uomo che viene classificato come \"alto rischio\" è di solito disoccupato e proveniente da un quartiere povero, ed è probabile che riceva una condanna più lunga e venga imprigionato per anni in un carcere dove è circondato da criminali. Quando sarà rilasciato nello stesso quartiere povero, con un precedente penale, sarà ancora più difficile trovare un lavoro. Se poi commette un altro crimine, il modello di recidiva può raccogliere un altro successo. Ma in realtà, è il modello stesso che attiva questa catena di reazioni. Lo scrutinio umano aiuta a individuare tali loop del modello, ma, sfortunatamente, la tendenza verso l\'automazione rende questo sempre più difficile, poiché i computer hanno iniziato a \"imparare\" senza interventi umani non solo dai dati in forma numerica ma anche dalla nostra lingua scritta e naturale. Infine, i modelli dovrebbero essere auditati perché possono essere progettati e eseguiti in modo errato. Ad esempio, l\'esperienza tecnica richiesta dalla corte regionale italiana e offerta dall\'Università di Tor Vergata a Roma ha certificato che sono stati utilizzati due linguaggi di programmazione diversi nell\'algoritmo che assegnava insegnanti nelle scuole italiane: il COBOL, ora sostituito da nuovi linguaggi di programmazione, e il C. Anche alla luce della semplicità dell\'operazione richiesta, non è ancora chiaro quali siano le ragioni che hanno portato i programmatori a creare un programma pretenzioso e ridondante che non è orientato al modello di mantenimento. Ciò è anche in considerazione del fatto che è statistica mente provato che un software che deve eseguire operazioni elementari dal punto di vista logico, se consiste in un gran numero di righe di codice, è più probabile che porti ad errori e malfunzionamenti. Avere articolato un algoritmo che doveva eseguire funzioni relativamente semplici in questo modo - sottolineano gli ingegneri romani - è anche un segnale di un lavoro confuso e frammentato, gestito più volte anche da diversi programmatori che hanno osservato diversi standard di descrizione. Quindi, i modelli possono essere scritti in modo errato; quindi, devono essere auditati. Un altro esempio recente è l\'Intervento di Compliance Online Australiano, noto come \"Robodebt\". Nel luglio 2016 il Dipartimento dei Servizi Umani (DHS), per ridurre le spese ed eliminare pagamenti indebiti, ha preparato un sistema che minimizza il controllo umano su eventuali discrepanze. Così vengono identificati un gran numero di cittadini che dovranno restituire le somme ricevute. Il numero di interventi correttivi è aumentato drasticamente, da 20.000 all\'anno a 20.000 a settimana, secondo il commento entusiasta del allora Ministro per i Servizi Umani, Alan Tudge. Dopo molte lamentele, è stato scoperto che il sistema era stato progettato male, perché utilizzava dati di reddito medi per generare avvisi di debito. Ciò ha esposto il governo a un\'azione collettiva: la proposta di accordo tra gli avvocati dei petenti e il Commonwealth ha comportato un costo totale di circa 770 milioni di euro, compresi i rimborsi per oltre 460 milioni a 373.000 persone, 71 milioni in compensazione a circa 400.000 persone e 254 milioni in debiti cancellati. L\'analisi dei modelli può aiutare a suggerire aggiornamenti e aggiustamenti - ciò che è noto come un modello dinamico - ma dobbiamo essere chiari nel dire che ci saranno sempre errori, perché i modelli non possono adattarsi esattamente alla realtà; devono semplificare la complessità del mondo reale. Il nostro dovere come auditor di algoritmi sarebbe quello di consigliare sulle conseguenze delle scelte fatte per progettare il modello e di richiedere chiarezza e apertura in modo che chiunque possa conoscerlo e comprenderlo. Che il successo di un modello sia questione di opinione, la sua trasparenza è una questione di etica, equità e diritto. **FAIRNESS** Negli ultimi anni, gli attacchi informatici sono aumentati, causando gravi danni e costi alle organizzazioni. Il rapporto 2021 dell'FBI sull\'Internet Crime Report indica che le vittime hanno perso 6,9 miliardi di dollari, ma molti incidenti non vengono segnalati. Gli attacchi variano da piccoli disturbi a gravi interruzioni come i ransomware. Per contrastare questo fenomeno, c\'è bisogno di più professionisti della sicurezza informatica, ma la carenza di personale qualificato è un problema. Attualmente, ci sono 2.720.000 posti di lavoro nel settore, con una previsione di 3.500.000 opportunità entro il 2025. Le università stanno creando corsi e piattaforme di apprendimento per formare nuovi professionisti. Piattaforme come Hack the Box, PicoCTF e Haaukins offrono formazione pratica, principalmente su aspetti tecnici della sicurezza informatica. Tuttavia, è necessario attrarre anche studenti meno tecnici. L\'apprendimento basato sul gioco, come proposto dal progetto Privacy Universe, mira a coinvolgere un pubblico più ampio e ad aumentare l\'interesse per la sicurezza informatica. Gli algoritmi possono discriminare sistematicamente alcuni gruppi sociali. Friedman e Nissenbaum (1996) parlano di \"equità algoritmica\" e vari approcci tecnici sono stati sviluppati per rilevare i bias. Kleinberg (2016) propone tre misure di equità: anticlassificazione, risultato/parità d\'errore e calibrazione. Tuttavia, queste misure sono spesso incompatibili tra loro, rendendo l\'equità un concetto politico piuttosto che tecnico. È cruciale adattare gli algoritmi agli interessi diversi e contrastanti delle parti coinvolte. La spiegabilità degli algoritmi e il coinvolgimento delle parti interessate sono fondamentali per garantire l\'equità. Il GDPR dell\'UE e il Data Protection Act inglese del 2018 prevedono un \"diritto alla spiegazione\" per il processo decisionale automatizzato. Incontri con sviluppatori e stakeholder possono aiutare a identificare e risolvere i problemi prima dell\'implementazione degli algoritmi. Un esempio di buona pratica è l\'audit degli algoritmi, come quello in corso ad Amsterdam con KPMG e Cathy O\'Neil. Questo progetto mira a sviluppare criteri per governare e valutare i sistemi decisionali algoritmici, sebbene non sia ancora completato. **Algorithmic impact assessment** L'impatto è il quarto elemento dell'audit degli algoritmi, che richiede di considerare le conseguenze sociali dei sistemi decisionali automatizzati. Un esempio significativo è stat

libro 2 metavalutazione.docx

Document Details

Tags

Related

Full Transcript

Upgrade to continue