Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy

by Cathy O'Neil

We live in the age of the algorithm. Increasingly, the decisions that affect our lives--where we go to school, whether we can get a job or a loan, how much we pay for health insurance--are being made not by humans, but by machines. In theory, this should lead to greater fairness: Everyone is judged according to the same rules.
But as mathematician and data scientist Cathy O'Neil reveals, the mathematical models being used today are unregulated and uncontestable, even when they're wrong. Most troubling, they reinforce discrimination--propping up the lucky, punishing the downtrodden, and undermining our democracy in the process.

Genres: Nonfiction, Science, Technology, Politics, Mathematics, Economics, Business

259 pages, Hardcover

First published September 6, 2016

About the author

Cathy O’Neil is the author of the bestselling Weapons of Math Destruction, which won the Euler Book Prize and was longlisted for the National Book Award. She received her PhD in mathematics from Harvard and has worked in finance, tech, and academia. She launched the Lede Program for data journalism at Columbia University and recently founded ORCAA, an algorithmic auditing company. O’Neil is a regular contributor to Bloomberg View.

Reviews

[Roberta]

La statistica ci frega dai tempi di Trilussa, ora con più raffinatezza. Siamo nell'era dei dati e noi comuni mortabili abbiamo solo un'idea vaga di quante informazioni personali condividiamo con enti che le rielaborano, con l'obiettivo finale - molto banale - di ottenere più soldi da noi.
C'è una ricerca dell'efficienza che si basa ossessivamente sui numeri, ignorando che le persone hanno... beh, un lato umano. Che è difficile quantificare, ma che contribuisce alle loro scelte e comportamenti.

L'autrice, americana, tocca argomenti prettamente americani (le assicurazioni, i punteggi per l'ammissione al college...) che tuttavia stanno tentando di espatriare in Europa. Ringraziate l'Unione Europea, che protegge la nostra privacy e la nostra dignità assai meglio del governo statunitense. Altri capitoli invece sono universali, da Facebook a Google, dalla propaganda politica alla pubblicità personalizzata.

Ne suggereisco la lettura a tutti, dopotutto siamo qui a commentare su un social network, solo apparentemente gratuito.

«Sai ched'è la statistica? È 'na cosa
che serve pe fa' un conto in generale
de la gente che nasce, che sta male,
che more, che va in carcere e che spósa.

Ma pe' me la statistica curiosa
è dove c'entra la percentuale,
pe' via che lì la media è sempre eguale
puro co' la persona bisognosa.

Me spiego: da li conti che se fanno
seconno le statistiche d'adesso
risurta che te tocca un pollo all'anno:

e se nun entra nelle spese tue
t'entra ne la statistica lo stesso
perché c'è un antro che ne magna due.»

(Trilussa, La Statistica)

[Andrea]

Sconsigliato ❌

È sempre utile sapere il funzionamento di certi programmi.
Quello che non capisco è il perché l’autrice mette le sue idee e la sua filosofia dietro alla matematica.
Dice che ci sono molti aspetti che non si prendono in considerazione ed altri aspetti che influenzano negativamente i programmi statistici, ma non sa veramente cosa succede.
In strada ad esempio ci sono delle dinamiche sconosciute all’autrice. Secondo me c’è poca ricerca e poco lavoro dietro a questo libro, troppe riflessioni personali.
Troppa la saccenza dell’autrice.

[Theut]

Interessante punto di vista: è sempre utile guardare il lato oscuro anche delle tecnologie che ci appassionano di più (anzi, a maggior ragione, per averne una comprensione a 360°).
I modelli matematici non sono in sè antidemocratici, sono come sempre gli umani che li scrivono che possono fare disastri essendo fallibili (più o meno inconsapevolmente).

[Isscandar]

Interessante ma inutilmente ripetitivo e lungo.

L'avesse scritto un giornalista non esperto della materia potrei anche capirlo ma e` scritto da una laureata in matematica, con dottorato di ricerca, che ha insegnato e che ha lavorato come esperta in algoritmi per la finanza e l'e-commerce.

Con queste premesse mi aspettavo una organizzazione logica del testo, una spiegazione abbastanza tecnica di alcuni algoritmi ed un riassunto di quanto e` fallibile in questi algoritmi.

A studiare con attenzione il libro, tutti questi aspetti sono si` presenti ma trattati in modo molto superficiale, per nulla tecnico e sopratutto diluiti in un mare di aneddoti tratti dalla cronaca statunitense.

Poi ci sono anche punti che mi sembra siano un po' deboli e mi fanno dubitare di tutto il contenuto: una delle prime storie raccontate e` quella di una insegnante di scuola media che viene licenziata perche' classificata come inadeguata dall'algoritmo preposto alla valutazione del personale docente.
L'algoritmo valuta le capacita` dell'insegnante basandosi sui risultati conseguiti dai suoi alunni; nel caso in questione gli alunni della prima media peggiorarono i propri risultati rispetto a quelli che conseguirono al termine della quinta elementare: questo peggioramento fu imputato alle scarse capacita` dell'insegnante che venne cosi` licenziata. Si scopri` poi che gli insegnanti della quinta elementare truccarono i voti degli alunni alzandoli immeritatamente. Si puo` dare la colpa all'algoritmo? Quando c'e` la truffa l'algoritmo non puo` rimediare...

La traduzione non mi convince del tutto: codificatori? e perche' non programmatori?
E` pur vero che ho sentito usare da un milanese il verbo codare invece che programmare... a me personalmente non piace.

A questo punto ho creato il tag vino_annacquato per questo genere di libri, gli altri che ho dovuto sforzarmi di concludere sono:
Il mondo senza di noi
Probabilità 1
Che forma ha un fiocco di neve
Costruttori di navi a Venezia
L'IBM e l'olocausto
Checklist. Come far andare meglio le cose

[Alb85]

Libro che raggruppa i post del blog https://mathbabe.org/. Il risultato è un libro senza una struttura uniforme e un messaggio chiaro.

Il libro non descrive nello specifico come sono composti i modelli matematici utilizzati al giorno d’oggi. L’autrice si concentra più sui problemi da parte dei sistemi (economici, scolastici ecc..) che utilizzano questi modelli. I problemi descritti nel libro non riguardano i modelli in sé. Questi ultimi sono solo degli strumenti utilizzati (a volte di proposito) in modo scorretto da parte dell’uomo.

Il libro è breve. 1/4 del libro é dedicato alla bibliografia.

Il primo capitolo é il più interessante, fa una panoramica dei modelli matematici approfondendo 3 domande:
- 1. benché il partecipante sia cosciente di essere oggetto di una modellazione, o delle finalità per cui il modello viene utilizzato, quest’ultimo è poco chiaro o addirittura non visibile? La trasparenza è importante. Eppure molte aziende fanno l’impossibile per tenere nascosti i risultati dei loro modelli o persino la loro esistenza. Una giustificazione comune è che l’algoritmo rappresenta l’“ingrediente segreto” fondamentale per il loro business.
- 2. il modello va contro l’interesse del singolo? In poche parole, è iniquo? Danneggia o distrugge la vita delle persone?
- 3. se un modello ha la capacità di crescere esponenzialmente. Come direbbe uno statistico, può scalare?

Per riassumere, questi sono i tre elementi di una ADM (armi di distruzione matematica, termine coniato dall'autrice): scarsa chiarezza, portata e danno.

Altri problemi descritti nel libro riguardano:
- l’equità è impalpabile e difficile da quantificare. È un concetto. E i computer, nonostante tutti i progressi compiuti sul fronte del linguaggio e della logica, hanno ancora grosse difficoltà con i concetti. Dobbiamo sacrificare l’accuratezza del modello in nome dell’equità? Dobbiamo banalizzare i nostri algoritmi? In alcuni casi, sì. Se dobbiamo essere uguali davanti alla legge, o essere trattati allo stesso modo in quanto elettori, non possiamo accettare sistemi che ci suddividono in caste e fanno differenze tra le persone.
- La radice del problema, così come per molte altre armi di distruzione matematica, è la scelta degli obiettivi da parte dei modellatori.
- nuovi modelli confondono correlazione e causalità.
- In mancanza di feedback, un motore statistico può continuare a produrre analisi non esatte e dannose senza imparare mai nulla dai propri errori; definiscono una loro realtà e la utilizzano per giustificare i loro risultati.

[Stefano]

Tecnologia usata spregiudicatamente per aumentare il profitto di pochi a discapito delle masse, che vengono sempre più affossate.

"Come spesso accade con le armi di distruzione matematica, quegli stessi modelli che arrecano danni potrebbero essere utilizzati a vantaggio dell'umanità. Anzichè targetizzare le persone per manipolarle, potrebbero dare loro una mano. ... Quando si parla di messaggi politici, come per la maggior parte delle armi di distruzione matematica, il cuore del problema è quasi sempre l'obiettivo. Se si passa da voler succhiare il sangue alle persone a volerlo aiutare, l'arma di distruzione matematica viene disinnescata e potrebbe addirittura trasformarsi in una forza positiva. ... I modelli matematici devono essere strumenti nelle nostre mani, non i nostri padroni. ... Il primo passo è quindi riprenderci dalla tecno-utopia, vale a dire quella fiducia sconfinata ma ingiustificata nelle capacità degli algoritmi e della tecnologia."

[Omar Caccia]

Devo ammettere che non ho letto proprio tutto il libro, ma ho saltato diverse parti, anche perché mi sembra fortemente plasmato sul modello della società economica statunitense e in questo senso ci sono varie differenze rispetto alla realtà europea. L'ho trovato ben documentato, mai inutilmente complicato pur trattando di temi molto complessi. La preparazione dell'autrice è innegabile. Credo che le ADM stiano già plasmando il nostro presente e se non ne prendiamo coscienza diventeranno sempre più creatrici anche del nostro futuro.

[Donato Simeone]

La tecnologia è già disponibile. Ciò che manca è la volontà. Potrebbe essere il sunto di un libro che non mi ha entusiasmato. In esso è stato toccato un problema enorme di estrema attualità partendo dalla scienza dei numeri che conservano tutto il loro fascino. Le ADM sono basate su eventi passati e, quindi, prive della coscienza umana. Esse, proprio per questo, vengono finalizzate alla creazione di una classe politica, modesta, in ogni angolo del mondo.

[Paolo]

Armi di distruzione matematica 6.5 - interessante digressione sulle implicazioni dei super algoritmi sulla vita di tutti i giorni di tutte le persone e e potenziali implicazioni di semplici click o giudizi espressi in rete o in survey. Poco approfondita la parte matematica ma si legge bene. Spiazzante

[terry]

voto: tre e mezzo/ tre al quattro

ottimo punto di partenza per studiare rapporto big data e machine learning/oppressione, ma non adatto a chi è già dentro il settore (o semplicemente ha già letto una sacco di paper sul tema) + ripetitivo (stesso concetto, ma spiegato con esempi sempre diversi).

[Fausto Lammoglia]

Caty O’Neil ci accompagna dietro gli altarini degli algoritmi (nei loro usi marchiati USA), mostrando come siano dispositivi iniqui, fondati su pregiudizi e dati indiretti (proxy data) che spesso sono fuorvianti. Una lettura quantomeno illuminante.

[Beppe Longo]

Tanti esempi poca sostanza. Mi sarei aspettato un approccio piu' scientifico e meno narrativo.

[Andrea Samorini]

___________________________________
FROM BOOK: 21 lezioni per il XXI secolo (Yuval Noah Harari)

[Marco]

Concetti ripetuti allo sfinimento con esempi diversi, nessuna informazione prettamente scientifica o matematica.

[Francesca Arrigoni]

Voto: 3.5

[Valeria]

Letto nel 2026, dieci anni dopo la sua pubblicazione, può solo fare da specchio a quello che è successo e non. Non lo consiglierei ora, è troppo invecchiato.

[Tsankaris]

Lettura consigliata a tutti coloro che ambiscono a lavorare coi dati, ci allarma sulla pericolosità degli algoritmi e della statistica se usati male (come spesso accade). Ho apprezzato molto gli esempi concreti di "armi di distruzione matematica" presenti nel mondo reale che ai più risultano invisibili

[Maurizio Codogno]

Cathy O'Neil, nota in rete come MathBabe, dopo la laurea in matematica e un inizio di carriera universitaria è passata al settore privato nel campo dell'economia, e si è trovata in mezzo alla crisi del 2008. Il risultato della sua rivisitazione di quello che è successo l'ha portata a scrivere questo libro, che trovate anche in edizione italiana, sulle "armi di distruzione matematica" (ADM). Chi è allergico alle formule non tema, perché qui non ce ne sono per nulla. Quello che viene spiegato in teoria ed esemplificato in vari modi è il concetto di cui al titolo: in poche parole si tratta di modelli matematici complessi, spesso legati ai big data o comunque a dati che non nascono direttamente per quella ragione, che risultano oscuri agli esseri umani e soprattutto sono fatti in modo da non accettare feedback a posteriori. Quest'ultima è la vera caratteristica che secondo O'Neil li rende pericolosi, a differenza per esempio dei modelli matematici nel baseball che possono sempre venire raffinati una volta visto cosa è successo. L'autrice mostra come invece nel caso delle ADM si giunge quasi naturalmente a un circolo vizioso nel quale chi parte svantaggiato dal modello lo sarà sempre di più, anche se magari in partenza la sua situazione reale era positiva e solo la scelta dei dati del modello non lo faceva sembrare tale. L'unica pecca che ho visto è che nonostante i suoi sforzi divulgativi temo che ci sarebbe voluto ancora qualcosa in più per evidenziare i concetti statistici di base: dal mio punto di vista erano chiari, ma io ho un background matematico.