L'ALTRA FACCIA DELLA TECNOLOGIA: DANNI DA ALGORITMI DISTORTI

Ho sempre detto ai miei studenti che la matematica non ha mai fatto male a nessuno, ma i docenti di matematica sì. E, naturalmente, ho sempre cercato di distinguermi dagli insegnanti di matematica che ho avuto, i quali mi hanno trasmesso i concetti matematici come se fossero immutabili dogmi. La matematica invece può cambiare, come cambia la scienza, man mano che cose che si ritenevano vere vengono dimostrate false ed anche con il progresso di strumenti sempre più precisi e migliori di quelli che li hanno preceduti. Questo è il motivo per il quale - ad esempio con riferimento all'Analisi Matematica - non spiego solo la teoria del 1600/1700, ma anche ciò che oggi si sta facendo nell'ambito dei limiti e delle derivate. Cerco anche di scoprire sempre nuovi metodi didattici che rendano la matematica ciò che di fatto è: un utile insieme di strumenti in evoluzione che consentono di migliorare la nostra vita.

Dopo aver letto: "Armi di distruzione matematica - Come i Big Data aumentano la disuguaglianza e minacciano la democrazia" (Bompiani Editore) devo aggiungere ai dogmatici insegnanti di matematica anche i creatori di algoritmi distorti che - una volta diffusi - modificano radicalmente la vita delle persone. Ribadisco che non si tratta di accusare la matematica, perché uno strumento può essere utilizzato in diversi modi. Ad esempio il cuscino è un ottimo ausilio per dormire meglio, ma viene anche usato per commettere parecchi omicidi. Il problema non è il cuscino (che è un'ottima invenzione), ma l'uso distorto che se ne fa.

D'altronde l'autrice del libro in oggetto, Cathy O'Neill, ha un passato accademico nell'ambito della matematica, quindi è partita proprio dall'Università, poi si è spostata nella finanza ed ha osservato i disastri della crisi del 2007-2017, attribuibili sia ad algoritmi distorti che a leggi (americane) non sufficientemente restrittive ed infine è passata alla Scienza dei Dati, lavoro nel quale ha potuto osservare in maniera diretta - appunto - il lato oscuro dei Big Data. Ha poi raccontato tutto nel libro, che è anche una sorta di autobiografia, per denunciare i danni subiti dalle persone alle quali vengono "applicati" algoritmi distorti. Insomma, la tecnologia e gli automatismi sono belli perché ci rendono la vita comoda, ma attenzione a come sono fatti, perché - in taluni casi - possono rendere la vita un vero incubo.

Nel libro in oggetto ci sono numerosi esempi - dall'istruzione alla giustizia, passando per il baseball - tutti analizzati nel dettaglio. Un algoritmo per valutare gli insegnanti dice che tu, caro lettore, non sei un buon insegnante. Mi dispiace, ma sei licenziato. Un altro algoritmo valuta la tua solvibilità, ovvero la tua capacità di restituire il denaro che ti viene prestato. Il risultato è che non meriti credito. Mi dispiace, dovrai rivolgerti ad un'altra banca, che magari utilizza lo stesso algoritmo e quindi niente denaro. E infine, caro lettore che abiti in un quartiere "disagiato", la polizia ti ha beccato mentre commettevi un piccolo reato perché - grazie ad un algoritmo - sta pattugliando le zone più povere della città. Aver fatto centro rinforza il feedback positivo sulla bontà dell'algoritmo. Si continuerà allora in questo modo, trascurando i ricchi - che abitano da tutt'altra parte - e commettono gravi reati nell'ambito della finanza, danneggiando masse ignare di risparmiatori.

Non tutti gli algoritmi sono distorti. Ne esistono alcuni il cui contenuto è trasparente, che si avvalgono di moltissimi dati di input e numerose variabili e vengono continuamente aggiornati. Naturalmente ciò non significa che questi algoritmi siano statisticamente attendibili (non lo sono nemmeno quelli di una potenza come Google), ma certamente sono meno distorti e fanno meno danni.

Un algoritmo può essere nient'altro che il contenitore delle distorsioni dei suoi creatori. Quindi se c'è un danno e una responsabilità è sempre da attribuire all'uomo e non alla matematica, cioè allo strumento. Se l'algoritmo produce numeri rilevanti, ad esempio molti rifiuti di concedere credito o molti docenti licenziati o molti afroamericani condannati non è detto che sia valido. A tal proposito l'autrice afferma che in molti casi "anziché cercare la verità, la si crea con un punteggio". Purtroppo, nell'ipotesi che un dato algoritmo sia distorto, non è facile sapere da chi lo utilizza in base a quali criteri funzioni la formula matematica. Talvolta non lo sa neanche l'utilizzatore. E l'azienda che ha creato l'algoritmo non è detto che sia disposta a rilevarne il contenuto.

Gli algoritmi diventano armi di distruzione matematica (cosiddetti A.D.M.) quando non sono chiari, vengono applicati in maniera molto estesa, contengono rilevanti distorsioni e creano ingenti danni a masse di persone. Ad esempio, nell'ambito della lunga crisi finanziaria prima citata, le A.D.M. hanno consentito di sottostimare il rischio, ottimizzare i guadagni a breve termine e permettere ad alcuni l'uscita tempestiva dal mercato, in modo che altri rimanessero con le mani piene di "titoli tossici". Inoltre, dato che gli algoritmi si basano essenzialmente sul passato, se oggi succede qualcosa di decisamente nuovo, quella formula non farà altro che replicare in misura massiccia decisioni errate, con conseguenze facilmente immaginabili.

Quindi, quando scopriamo che un algoritmo sta facendo danni dobbiamo chiederci quale sia l'obiettivo di chi elabora il modello sottostante all'algoritmo. E dobbiamo sperare di riuscire a fermarlo in tempo.

Walter Caputo
Divulgatore Scientifico