Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy

by Cathy O'Neil

We live in the age of the algorithm. Increasingly, the decisions that affect our lives--where we go to school, whether we can get a job or a loan, how much we pay for health insurance--are being made not by humans, but by machines. In theory, this should lead to greater fairness: Everyone is judged according to the same rules.
But as mathematician and data scientist Cathy O'Neil reveals, the mathematical models being used today are unregulated and uncontestable, even when they're wrong. Most troubling, they reinforce discrimination--propping up the lucky, punishing the downtrodden, and undermining our democracy in the process.

Genres: Nonfiction, Science, Technology, Politics, Mathematics, Economics, Business

259 pages, Hardcover

First published September 6, 2016

About the author

Cathy O’Neil is the author of the bestselling Weapons of Math Destruction, which won the Euler Book Prize and was longlisted for the National Book Award. She received her PhD in mathematics from Harvard and has worked in finance, tech, and academia. She launched the Lede Program for data journalism at Columbia University and recently founded ORCAA, an algorithmic auditing company. O’Neil is a regular contributor to Bloomberg View.

Reviews

[Dominik]

Mocno rozczarowałem się książką Cathy O'Neil Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Choć sam jestem przekonany o tym, że algorytmy i złe wykorzystanie danych mogą mieć często negatywne konsekwencje, to jednak liczyłem, że autorka pokaże coś więcej niż tylko przykłady. Tymczasem książka jest bardzo mało analityczna i w zdecydowanej większości opiera się o anegdoty.
Warto też podkreślić, że jest zakorzeniona w praktyce amerykańskiej, gdzie regulacje dotyczące przetwarzania danych osobowych są zupełnie inne niż w Europie. Większość opisywanych problemów nie miałaby prawa zdarzyć się w Europie.

[Marcin Zaremba]

Weapons of Math Distruction to książka z kategorii „oh shit, nie wiedziałem, że to aż tak poważny problem”. Autorka opisuje (w dziwnym miksie fascynującego i powtarzalnie nudnego wykładu) jak działają na poziomie logiki algorytmy wpływające na społeczeństwo: od tych nieszczęsnych credit scores, przez rankingi nauczycieli, pracowników uczelni czy systemy przewidywujące prawdopodobieństwo recydywy.

Opisuje jak nieprzejrzyste są i jak łatwo daliśmy sobie wmówić, że są obiektywne i neutralne. To, o czym zapomnieliśmy, to fakt, że ktoś je zbudował i ktoś je napędza danymi.

Czytałem WMD miałem ciągle poczucie, że zaciska się na nas (= społeczeństwach opartych na wiedzy i informacji) pętla, która sami sobie założyliśmy.

Nie ma w tej książce happy endu.

[ola]

fajna, ciekawa, amerykańskie systemy ubezpieczeń, więziennictwa, policyjne i wszystkie są pojebabe

[Magdalena]

Doszłam do tej książki po przeczytaniu "Hello World" Hanny Fry, która dotyczy właściwie tego samego (roli algorytmów we współczesnym świecie i pułapek, które niesie ze sobą ich popularyzacja), więc nie umiem obrać mojej opinii na temat tej pozycji z porównań do tej poprzedniej. Od książki Fry jest z pewnością trochę bardziej nastawiona na uwypuklanie zagrożeń, więc wychodzi na mniej wyważoną (osobiście irytuje mnie też lekko ten chwyt "reklamowy" nazywania kiepskich i szkodliwych społecznie algorytmów bronią matematycznego rażenia (BMR), bo za bardzo to efekciarskie). Logicznie i sercem jestem absolutnie po jej stronie, bo większość tego, co przytacza to oczywiste wypaczenia, w których produkt jest po prostu kiepski, nikt nie czuje się za jego działanie odpowiedzialny, a skutki społeczne nie są ani zgodne z założeniami ani sprawiedliwością. Główna wartość tego typu książek zdaje się leżeć właśnie w tym zwracaniu uwagi na to, jak bardzo istotne jest zachowanie kontroli i wglądu w działanie i założenia algorytmów oraz to, jak istotną kwestią jest zarówno formułowanie tych założeń, jak i sam dobór danych. Tradycyjnie jednak ginie to wszystko w realiach amerykańskich, które nie mają bezpośredniego przełożenia na europejskie warunki (połowa przykładów po prostu rozbija się o "w UE to jest nielegalne"). Nie jest oczywiście tak, ze u nas nie popełnia się błędów w tym zakresie, ale są one trochę inne i trochę już jestem zmęczona byciem super poinformowaną w temacie niedostatków systemowych USA a bardzo mgliście poinformowaną z niedostatków rodzimych (choć to oczywiście nie jest sens stricte wina tej książki; tym niemniej jest to pewna wada).

[Władysław Saj]

Bardzo sensownie opowiedziane i rozbudowana literatura uzupełniająca . jednak też tekst jest przegięty na sprawy interesujące i ważne głównie dla Amerykanów jak analogie nawet gdzie niekonieczne potrzebne do baseballa albo amerykańskie rankingi uczelni.

[Marta]

Sięgnęłam po tę książkę sądząc, że będzie dla mnie idealnym wprowadzeniem w świat analizy danych. Autorka jest w końcu profesorem matematyki, a oprócz tego ma spore doświadczenie w wykorzystywaniu swojej wiedzy poza murami uczelni. Pracując dla jednego z funduszy hedgingowych spoglądała zza kulis na to, co doprowadziło do kryzysu finansowego z 2008 roku a następnie na jego opłakane skutki.

Po "Broni matematycznej zagłady" spodziewałam się, że będzie bardziej popularnonaukową książką oraz tego, że wyniosę z niej nieco wiedzy o tym, w jaki sposób działają matematyczne narzędzia stosowane w Big Data. Niestety, to co dostałam okazało się bardziej zbiorem esejów niż solidną porcją wiedzy w jaki sposób konstruowane są matematyczne modele.

Autorka w każdym z rozdziałów przytacza historie związane z wykorzystaniem statystycznych modeli w różnych dziedzinach życia. Przykładowo, w kryminalistyce będzie to szacowanie prawdopodobieństwa wystąpienia przestępstwa na danym obszarze lub recydywy konkretnego więźnia. Czytamy też o kontekstowych kampaniach reklamowych celowanych w biednych ludzi przez tak zwane uczelnie zarobkowe w USA oraz o tworzeniu rankingów najlepszych uniwersytetów. Dla nich wszystkich wspólne jest to, że korzystają z błędnych założeń, generują pętle sprzężenia zwrotnego (np. rankingi uczelni napędzają wyścig o palmę pierwszeństwa i doprowadzają do dużych podwyżek czesnego, co znacznie ogranicza lub odcina najbiedniejszym dostęp do najlepszych uniwersytetów), a w efekcie doprowadzają do zwiększania nierówności społecznych.

Podejmując tak ważny temat bardzo istotne jest, żeby podejść do niego rzeczowo i bezstronnie. Natomiast spomiędzy słów "Broni matematycznej zagłady" wyraźnie przebijają poglądy autorki. Z wieloma jej obserwacjami się zgadzam, natomiast nie jestem pewna, czy proponowane przez nią rozwiązania również nie byłyby wolne od uprzedzeń (w tę drugą stronę). W mojej opinii książka O'Neil opisuje raczej żerowanie na ludzkiej słabości i niemoralne zachowania zastosowane na dużą skalę niż mankamenty matematycznych modeli. Brakuje wypunktowania co jest w nich źle zaprojektowane i w jaki sposób można je naprawić. Byłoby fantastycznie dowiedzieć się tego od osoby z tak głęboką matematyczną wiedzą.

Algorytmy i komputery są bezduszne i to my, ludzie jesteśmy odpowiedzialni za konsekwencje ich funkcjonowania. To nie Big Data powoduje zwiększanie rozwarstwienia społecznego, ale uprzedzenia i przekonania ludzi dobierających parametry modeli statystycznych. Interesujące byłoby zapoznać się z analizą w jaki sposób ludzie postrzegają rzeczywistość i jak przekłada się to na matematyczne modele, które tworzą. Najbardziej wartościowe wnioski można by uzyskać prowadząc taką analizę w sposób możliwie bezstronny i sceptyczny, czego ogromnie brakuje w publikacji Cathy O'Neil.

[Monika]

Broń matematycznej zagłady to książka, którą powinno przeczytać jak najwięcej osób – zarówno tych, którzy na co dzień mają styczność z matematyką, jak i tych, którzy nie zdają sobie sprawy, jak wielki wpływ wywiera ona na nasze życie. Cathy O’Neil w przystępny sposób pokazuje, jak algorytmy kształtują naszą rzeczywistość – od systemów oceniania w edukacji, przez procesy rekrutacyjne, aż po sektor finansowy i wymiar sprawiedliwości.

Jako matematyk (i analityk) uważam, że książka świetnie nadaje się jako punkt wyjścia do dyskusji, zwłaszcza w edukacji. Niektóre fragmenty wręcz aż proszą się o cytowanie na lekcjach, by uwrażliwić ludzi na zagrożenia płynące z bezrefleksyjnego stosowania modeli matematycznych. Jednocześnie lektura ta może pomóc w obaleniu mitów dotyczących zawodów związanych z matematyką – nie ograniczają się one przecież jedynie do nauczania w szkole.

Książka napisana jest w sposób bardzo przystępny – dla mnie jako osoby z wykształceniem matematycznym była w pełni zrozumiała, ale jestem przekonana, że laik również nie miałby problemu z jej odbiorem. Przykłady są wzięte z życia i jasno ilustrują, dlaczego niektóre modele matematyczne – mimo pozornej neutralności – mogą prowadzić do niesprawiedliwości i społecznych nierówności. Trudno nie zgodzić się z autorką, że większa świadomość w tym zakresie jest kluczowa.

Podsumowując, Broń matematycznej zagłady to książka wartościowa i potrzebna. Wnosi dużo – przede wszystkim świadomość tego, jak matematyka może być wykorzystywana zarówno dla dobra, jak i dla manipulacji.

Moja ocena: 4.25/5 🌟

[Postscriptum]

Choć temat jest niezwykle ważny, jeszcze ważniejszy był, gdy książka była pisana – i to czuć. Wiele z poznanych tu informacji, jest już tak naprawdę wiedzą powszechną i potrzebujemy już bardziej wyrafinowanych środków i głębszych analiz problemu, by faktycznie móc pójść "krok naprzód" w dyskusji.
Z perspektywy czasu ze smutkiem trzeba jednak stwierdzić, że choć nasza wiedza w temacie zagrożeń płynących z nieodpowiedniego użycia algorytmów się poszerzyła, rozwiązań wciąż alarmująco brakuje.

[Kasztanowa]

Niecodzienne, bo mocno krytyczne spojrzenie na otaczającą nas technologię i nasze bezgraniczne do niej zaufanie. Dużym minusem dla mnie było skupienie się jedynie Stanach - to dość mocno ogranicza perspektywę i stwarza złudne wrażenie, że w Europie algorytmy działają etycznie, uczciwie i nie mają nad nami władzy.

[Filip Paszko]

Bardzo dobra ksiazka, choć trzeba przyznać, że każdy z opisanych przypadków to ten sam mechanizm. Teoretycznie więc zamiast książki wystarczyłby geenralizujący artykuł. Mimo wszystko warto sięgnąć i przeczytać.

[Antek]

Dla mnie najważniejsza i najstraszniejsza książka 2025. Ciężka, nie w stylu pisania, ale w treści. Jedyne co bym mógł jej zarzucić, to litości z tymi metaforami baseballowymi, nic z nich nigdy nie rozumiem.

[Artur]

Książka nie zrobiła na mnie większego wrażenia. Autorka sprowadza swój wywód do dość oczywistej tezy: algorytmy i modele matematyczne mogą się mylić, a na ich wyniki wpływają ukryte zmienne pośrednie. Dla kogoś, kto choć trochę interesuje się tematem, nie ma tu nic odkrywczego.

[Victoria]

Beemzety są złe!!!! Mogły by być dobre, ale większości przypadków są złe!! I to nie tylko dla biednych

[Ewa]

2:5? Za wiele o matematyce to tu nie ma;)

[Marcin]

Napisane na poziomie licelisty. Zero mierzalnych danych potwierdzajacych teze, tylko opinie autorki i dowody anegdotyczne.

[Jessica Kufa]

Ta książka to po prostu mnożenie przykładów. Na początku ciekawa, ale to wciąż tylko przykłady. Nie zarysowano kontekstu, nie pokazano problemu w szerszym ujęciu.