Armi di Distruzione Matematica: il lato oscuro dei Big Data

Armi di Distruzione Matematica: il lato oscuro dei Big Data

Il caso Cambridge Analytica che, come tanti altri scandali analoghi, si avvia man mano a svanire dai ricordi dell’opinione pubblica, ha messo in luce il classico elefante nella stanza. Ciò che è emerso è qualcosa che molti sapevano, ma ignoravano più o meno consapevolmente. Per questo (e anche per le reazioni scomposte spesso evidenziate dagli utenti) non sono convinto che anche un caso estremo come quello delle elezioni influenzate possa far mutare un settore dominato da interessi economici più forti delle stesse Nazioni.
Di recente ho assistito a un servizio su una delle nostre reti televisive in cui un esperto di big data veniva intervistato sulla questione, e tendeva a minimizzare il problema puntando l’attenzione sulle opportunità derivanti dall’uso dei nostri dati, più che sui rischi. Subito dopo l’intervista, partiva il promo dell’azienda da lui gestita, naturalmente operante nello sfruttamento dei big data!
Nessuno coglie il conflitto di interessi?  🙄

Purtroppo non sono tutte rose e fiori così come cercava convincerci il programma televisivo. Ce lo spiega in maniera semplice e accessibile a tutti la matematica Cathy O’Neil, ricercatrice nell’ambito della Data Science, nel libro Armi di Distruzione Matematica. Partendo dall’analisi dei fattori scatenanti la crisi finanziaria del 2008, che ha potuto seguire dalla posizione privilegiata di analista per uno dei famigerati hedge funds, prima di passare al movimento Occupy Wall Street, O’Neil ci accompagna in un viaggio alla scoperta di quelle che lei definisce, in modo arguto, armi di distruzioni matematica, ovvero gli algoritmi alla base dei sistemi informatici che regolano le nostre vite moderne, dalla scelta di cosa comprare al supermercato o su Amazon, alla selezione del personale di un’azienda, fino alle elezioni politiche.

I matematici e gli esperti di statistica si erano messi a studiare i nostri desideri, i nostri spostamenti, il nostro potere d’acquisto, a formulare previsioni sulla nostra affidabilità e a calcolare il nostro potenziale in veste di studenti, lavoratori, amanti, criminali. Era l’economia dei Big Data, e prometteva enormi guadagni. Con un programma e un computer, si potevano analizzare migliaia di curriculum o richieste di finanziamento in un paio di secondi e organizzarli in elenchi ordinati, con i candidati più promettenti in cima alla lista. Questo modo di operare non solo faceva risparmiare tempo, ma si diceva anche che fosse equo e obiettivo. Niente più individui pieni di pregiudizi a leggere carte e documenti, solo macchine impegnate a elaborare freddi numeri. Attorno al 2010, la matematica era diventata una componente preponderante nelle questioni umane come mai prima di allora, e l’opinione pubblica ne era in massima parte felice. Ma sentivo che i guai erano dietro l’angolo.

Uno dei problemi affrontati nel saggio è la mancanza di trasparenza riguardo al funzionamento di questi algoritmi (spesso coperti da inviolabili segreti industriali), che genera una sorta di incapacità di contrastarli per chi si trova schiacciato tra gli ingranaggi del sistema. Se prima la decisione era affidata agli umani in maniera esclusiva, quando l’algoritmo diviene guida invece che mero supporto tecnico si tende a deresponsabilizzare l’uomo o la donna nella posizione decisionale. Come nel caso di molti esempi citati nel libro, dall’insegnante licenziata nonostante le numerose manifestazioni di apprezzamento da parte di colleghi e genitori, a causa di un’errata valutazione statistica delle performance dei suoi alunni, a una persona che si vedeva rifiutare qualsiasi richiesta di accesso al credito poiché un computer aveva erroneamente associato il suo profilo a quello di un’omonima criminale. Sbaglio facilmente correggibile da un umano, diventato un incubo senza via di scampo a causa della moltitudine di società che si affidano ciecamente ai dati forniti dal computer per decisioni spesso automatiche, soprattutto quando l’impiego di risorse umane risulta economicamente non conveniente.
Trasparenza che spesso manca anche agli stessi programmatori e analisti, perché più le intelligenze artificiali diventano evolute, più la loro capacità predittiva si discosta da quella umana. Il futuro immaginato dai film di fantascienza catastrofici potrebbe realizzarsi non in una guerra nucleare che stermina l’umanità, ma in maniera più banale, rendendo irrilevante il nostro intervento.

Personalmente ritengo che questa marea di dati comportamentali, nei prossimi anni, finirà direttamente nei sistemi di intelligenza artificiale i quali, all’occhio umano, resteranno delle scatole nere. In questo processo, molto difficilmente verremo a sapere a quali tribù “apparteniamo” o perché. Nell’era dell’intelligenza artificiale, la gran parte delle variabili rimarrà un mistero. |…| Saranno questi programmi automatici a stabilire sempre di più come veniamo trattati dalle altre macchine, quelle che scelgono gli annunci pubblicitari da farci visualizzare, che fissano i prezzi, che ci mettono in fila per un appuntamento dal dermatologo, o che elaborano sulla mappa i nostri itinerari. Saranno altamente efficienti, apparentemente arbitrari, e del tutto esenti da controlli. Nessuno capirà la loro logica né sarà in grado di spiegarla.

Un altro dei concetti citati dalla O’Neil è che queste armi di distruzione matematica tendono a plasmare la società, per un meccanismo perverso di retroazione, in modo tale da garantire il successo stesso dell’algoritmo, generando iniquità senza una volontà precisa: semplicemente accade.

I datori di lavoro, per esempio, ricorrono sempre più spesso al cosiddetto credit scoring, ossia le valutazioni di affidabilità creditizia, per giudicare potenziali candidati. Chi paga regolarmente le bollette – questa è l’idea di fondo – arriverà presumibilmente puntuale al lavoro e sarà incline a seguire le regole. In realtà, ci sono moltissimi individui responsabili e ottimi lavoratori che hanno la sventura di veder diminuire la loro affidabilità creditizia. Ma l’idea che la difficoltà di accedere al credito sia correlata a un cattivo rendimento sul lavoro fa sì che le persone con un’affidabilità creditizia bassa abbiano minori probabilità di trovare lavoro.
La mancanza di lavoro le spinge verso la povertà, rendendole ancora meno affidabili da un punto di vista creditizio e mettendole in una posizione sempre più svantaggiata sotto il profilo occupazionale. È una spirale discendente.

Il problema è che questi sistemi funzionano. Le aziende che li usano aumentano il loro profitto, statisticamente gli impiegati sono più produttivi, ognuno di noi è più felice di ciò che acquista e dei tempi di spedizione immediati. Quello che rimane sul campo di battaglia, però, sono numerosi danni collaterali.
Deve per forza essere così, oppure dobbiamo abbandonare del tutto il supporto matematico e informatico nelle nostre vite? No, ed è la stessa ricercatrice a offrirci degli spunti su come le armi di distruzione matematica potrebbero essere usate in modo positivo e a beneficio di tutti, non solo di alcuni.

Il libro di Cathy O’Neil ci aiuta e guida nel percorso di comprensione del lato oscuro dei Big Data, senza troppa teoria o formule, ma con numerosi esempi che toccano ambiti diversi della nostra vita. L’unico problema che ho notato nella scorrevole lettura è che, per ovvie ragioni, la ricercatrice è molto influenzata dall’ecosistema statunitense. Alcuni esempi (come quando si riferisce alle statistiche del baseball) possono sembrare poco chiari a noi europei, altri un po’ distanti perché ancora inapplicati. In generale, però, i concetti alla base sono facilmente comprensibili e anzi, proprio perché Europa e Italia sono sia più arretrate tecnologicamente che avanzate dal punto di vista delle regolamentazioni sulla privacy, forse siamo in una posizione migliore per evitare un futuro in cui grandi colossi globali possano decidere le sorti delle nostre vite dall’alto della loro Torre d’Avorio Tecnocratica, più di quanto facciano già ora. Citando di nuovo la O’Neil:

Non ho motivo di ritenere che gli scienziati sociali di Facebook siano dediti in maniera attiva a influenzare il sistema politico. Molti di loro sono studiosi seri che oggi hanno la possibilità di svolgere ricerche su una piattaforma inimmaginabile fino a vent’anni fa. Ma ciò che hanno dimostrato è l’enorme potere di Facebook di influenzare il nostro modo di informarci, di sentire, e se andiamo a votare oppure no. È una piattaforma gigantesca, potente e oscura. Gli algoritmi sono segreti, e noi vediamo soltanto i risultati degli esperimenti che i ricercatori decidono di pubblicare. Lo stesso vale, in massima parte, per Google. Il suo algoritmo di ricerca appare focalizzato sull’obiettivo di incrementare gli introiti. Ma se Google dovesse decidere in questo senso, i risultati della ricerca potrebbero incidere profondamente su ciò che le persone vengono a sapere e su come votano.

Vi ricorda qualcosa?  🙂

Mi fermo qui, per non attingere troppo agli innumerevoli interessanti concetti espressi nel saggio. Leggetelo e condividetelo con amici e parenti, perché per affrontare un mondo complesso come il nostro è sempre più imperativo conoscerne anche i lati oscuri.

L’ignoranza non è un’opzione.

Armi di Distruzione Matematica
Autore: Cathy O’Neil
Editore: Bompiani
Prezzo edizione cartacea: € 15,30
Prezzo ebook: € 9,99
Acquistalo su Amazon

 

Commenta

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Il Portiere Digitale è un'idea di ReAgire a.p.s. e Daniele Savi - http://sonodaniele.it - Partita IVA: 10211100960

%d blogger hanno fatto clic su Mi Piace per questo: