Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy

by Cathy O'Neil

We live in the age of the algorithm. Increasingly, the decisions that affect our lives--where we go to school, whether we can get a job or a loan, how much we pay for health insurance--are being made not by humans, but by machines. In theory, this should lead to greater fairness: Everyone is judged according to the same rules.
But as mathematician and data scientist Cathy O'Neil reveals, the mathematical models being used today are unregulated and uncontestable, even when they're wrong. Most troubling, they reinforce discrimination--propping up the lucky, punishing the downtrodden, and undermining our democracy in the process.

Genres: Nonfiction, Science, Technology, Politics, Mathematics, Economics, Business

259 pages, Hardcover

First published September 6, 2016

About the author

Cathy O’Neil is the author of the bestselling Weapons of Math Destruction, which won the Euler Book Prize and was longlisted for the National Book Award. She received her PhD in mathematics from Harvard and has worked in finance, tech, and academia. She launched the Lede Program for data journalism at Columbia University and recently founded ORCAA, an algorithmic auditing company. O’Neil is a regular contributor to Bloomberg View.

Reviews

[Amin · Rating 4 out of 5]

شاید بتوان عنوان کتاب را "سلاحهای کشتار جبری" ترجمه کرد تا منظور نویسنده بهتر حاصل شود، با این توضیح که منظور از جبر، معنای آن در ریاضی است و نه به معنای جبر و اختیار. فکر می کنم با محبوبیت این کتاب در دنیا و نقش رو به رشد داده پردازی در کشور ما دیر یا زود شاهد ترجمه آن باشیم.

بارها برای من پیش آمده که در فضای پیرامون که مملو از دانشجویان و محققین حوزه داده و مهندسی است بحثی پیش آید که مرزهای فنی و غیرفنی کار با داده چیست و تا چه حد پاسخ تمام مسائل به خودی خود از دل داده ها در می آید. یک بار کسی به من گفت دیگر نیازی به عامل انسانی نیست چون هوش مصنوعی خودش راه حل ها را می یابد و عرضه می کند. اما می دانیم که مثلا در کلان داده ها، به لحاظ آماری می شود بین پدیده های دلخواه بسیاری ارتباط معنادار یافت و جهت گیری محقق تعیین می کند که به چه ابعادی از آن معنا بدهد. به طور خلاصه اول مساله معنادار بودن نتایج را داریم و در مرحله بعد استفاده و تفسیر خاصی که از آنها می شود که در هر دو مرحله نقش عامل انسانی پررنگ است

این کتاب اما یک قدم هم فراتر می گذارد. الگوریتم هایی که نتایج تحلیل داده هایشان هم معنادار است و هم کاربردهای مشخصی دارد. اما گاهی خواسته و گاه ناخواسته معضلاتی درست می کنند که غالبا در راستای تخریب دموکراسی و افزایش فاصله طبقاتی هستند. با این که مثالها برای جامعه امریکا هستند، اما همین موقعیت جغرافیایی شاید بهترین مثال باشد تا وضعیتی رادیکال تر از استفاده از داده های بیشمار در تصمیم گیری های اجتماعی و سیاسی را ببینیم، البته با محوریت منافع اقتصادی و نقش شرکت ها. یک نکته مشترک هم در تمام این الگوریتم ها غیرشفاف بودن کارکرد آنها برای ناظران بیرونی و عدم وجود بازخورد برای اصلاح آنهاست که باعث شده نویسنده به هر کدام از آنها عنوان یک ابزار کشتار جبری بدهد

از سیستم رتبه بندی معلمان که گاه علیه معلمانی شایسته تر نتیجه می دهد و کل سیستم را بجای بهبود سیستم آموزشی به سوی افزایش امتیاز برای بقا در سییستم سوق میدهد، تا کارکرد شرکت های بیمه برای افزایش سودآوری که در نهایت به ضرر قشر آسیب پذیر عمل می کند، یا با همین منطق الگوریتم هایی که به پلیس کمک می کند تا خلافکاران بالقوه را شناسایی کند و در نتیجه زندان پر از افرادی می شود که غالبا از مناطق آسیب پذیر یا سیاه پوستان هستند. از این کاربردهای اجتماعی به سمت بازاریابی هدفمند که برویم پای دانشگاههای پولی و تبلیغات وسط می آید که به زبان نویسنده طبقه مرفه آگاه تر و باهوش تر از آن هستند که گول چنین سیستم هایی را بخورند؛ و در نهایت به سیستم اثرگذاری این الگوریتم ها در شبکه های اجتماعی میرسیم که اطلاعات دریافتی از سوی هر فرد را تحت تاثیر قرار می دهند تا جهت گیری سیاسی جمع زیادی از رای دهندگان مردد را قبل از زمان انتخابات تغییر دهند و به نوعی مانعی بر سر دموکراسی به شمار آیند

به نظرم فصل ها جذابیت های کم و زیاد متنوعی دارند. گاهی می توان با نظر نویسنده موافق نبود یا احساس کرد که در بیان نتیجه می تواند اغراق کند، اما در کل این کتاب را اثری خواندنی یافتم که با تخصص خود نویسنده که در همین باره است قابل اعتنا می شود

[Mohammad Sadegh Rasooli · Rating 4 out of 5]

http://delsharm.blog.ir/1397/03/24/ma...
اگر قسمت جمعیِ عبارت سلاح‌های کشتار جمعی (سلاح‌های نابودی جمعی) را از mass به math تغییر دهیم، عنوان این کتاب درست می‌شود. نویسنده دکترای ریاضی از دانشگاه هاروارد دارد و مدتی استاد دانشکدهٔ ریاضی کالج دخترانهٔ بارناردِ دانشگاه کلمبیا بوده است. او بعد از ورود به شرکت‌های سرمایه‌گذاری و کار به عنوان تحلیل‌گر داده بر اساس مدل‌های ریاضی به واقعیت‌های تلخی از مشکلاتی که این سامانه‌های ریاضیاتی بر سر جامعه آورده‌اند پی می‌برد. این کتاب تلاشی است برای نشان دادن این مشکلات. از این نظر این کتاب کاری بسیار مثال‌زدنی انجام داده است ولی متأسفانه مشکل بزرگ این کتاب، که البته نمی‌شود بر نویسنده‌ای که تخصصش ریاضی است خرده گرفت، این است که صرفاً به مشکلات معلول پرداخته است و طوری تصویر ایجاد کرده که کسی که روش‌های رایانه‌ای آشنا نباشد مشکل را در معلول یعنی روش‌های رایانه‌ای ببیند نه در علت. به قول دکتر داوری اردکانی، انسانِ متجدد جهان را به شکل ریاضی مدل کرده است و به قول خودم! حالا با آمدن پردازنده‌های فوق سریع این مدل‌سازی بسیار سریع و هوشمندانه انجام می‌شود. نویسنده متأسفانه در پنهان کردن عقاید خود در مسائلی مانند هولوکاست یا حقوق هم‌جنس‌بازها موفق نیست و خیلی واضح عقاید شخصی خود را به عنوان اخلاق به مخاطب حقنه می‌کند. البته باز یادآوری می‌کنم که چنین کتاب‌هایی خواندنش لازم است، خاصه برای امثالِ ما که شاید در برابر سرعت گسترش فناوری با دیدی خوش‌بینانه آرزوی رسیدن کشورمان به سطح فناوری آمریکا را داریم، بی آنکه بدانیم این فناوری‌ها وقتی در سایهٔ نظام سرمایه‌داری قرار بگیرند خود باعث گسترش سریع‌تر تبعیض و بی‌عدالتی می‌شوند. خلاصهٔ‌ مطلب آن که از این کتاب نباید انتظار ریشه‌یابی یا طرح راه حل داشته باشیم ولی به عنوان تجمیعی از مشکلات ایجادشده در استفاده از روش‌های رایانه‌ای و ریاضیاتی بسیار خواندنی است.

مطالبی که از الان می‌نویسم خلاصهٔ مضمونی و نه لزوماً واژه به واژه از کتاب است:

رده‌بندی دانشگاهی یو.اس.نیوز [بر اساس روش‌های ریاضیاتی] باعث رقابت ناسالم در جهت یک هدف شده است حال آن که باید تنوع در اهداف در دانشگاه‌های مختلف باشد. مثلاً یکی از معیارها فضای تفریحی و آموزشی دانشگاه است که باعث ترغیب دانشگاه‌ها به ساخت فضاهای آموزشی جدید و در نتیجه افزایش ۵۰۰ درصدی شهریهٔ تحصیلات عالی طی سال‌های ۱۹۸۵ تا ۲۰۱۳ شده است و این افزایش چهار برابر تورم است. این مشکلات به اینجا ختم نمی‌شود. مثلاً‌ در رده‌بندی دانشگاهی دنیا، دانشکدهٔ ریاضی دانشگاه ملک عبدالعزیز در رده‌بندی جهانی هفتم قرار دارد (بهتر از ام.آی.تی. و کمبریج). یعنی این که الگوریتم‌ها را می‌شود بازی داد. دانشگاه سعودی میزبان بسیاری از ریاضی‌دانان مطرح و پرارجاع شده است و به آن‌ها حقوق ۷۲ هزار دلاری در ازای عنوان استاد الحاقی (فرعی) دانشگاه داده. قرارداد بر این مبنا بود که این ریاضی‌دانان سالی سه هفته به عربستان سعودی بیایند و در ازای آن در مقاله‌هایشان وابستگی دانشگاهی‌شان را دانشگاه ملک عبدالعزیز بگذارند (صص ۵۸-۶۶).

به خاطر اهمیت دادن به درآمدزایی دانشگاه‌ها در رشته‌های مهندسی و پزشکی در رده‌بندی‌ها، بیشتر دانشگاه‌ها چاره‌ای جز کوچک کردن دانشکده‌های هنزهای زیبا و آموزش و علوم اجتماعی نداشتند چون معلم‌ها کمتر از مهندس‌ها، شیمی‌دان‌ها و علوم کامپیوتری‌ها درآمدزا هستند. (ص ۶۶)

قربانی اصلیِ رده‌بنده‌ها اکثریت کم‌درآمد و متوسط آمریکایی هستند که قدرت هزینهٔ چند هزار دلاری برای مشاوره و حضور در دوره‌های آمادگی ورود به دانشگاه را ندارند. نتیجه یک نظام آموزشی است که به مرفهین تمایل پیدا کرده است (ص ۶۵). به همین دلیل، بسیاری از مؤسسات آموزشی انتفاعی از ناچاری فقرا استفاده می‌کنند و آن‌ها را در دام تبلیغات دروغین دانشگاه‌هایشان می‌اندازند؛ دانشگاه‌هایی که نه سطح آموزشی خوبی دارند و نه فرصت شغلی مناسبی برایشان وجود دارد و تنها فقرا را بیشتر در باتلاق قرض و وام فرومی‌برد. این تبلیغات معمولاً هدف‌گذاری‌شده و به سمت کدپستی‌های نواحی فقیرنشین است (صص ۷۶-۷۷). نتیجهٔ نهایی این اتفاقات چیزی نیست جز این که ۴۰ درصد از جمعیت آمریکا در فقر مطلق زندگی کنند و ۲۰ درصد از جمعیت به ۸۹ درصد از منابع دسترسی داشته باشند (صص ۸۰-۸۱). حال آن که مثلاً رئیس دانشگاه انتفاعی فونیکس آریزونا در سال ۲۰۱۱ حقوقش ۲۵ میلیون دلار بوده است (ص ۸۱). در حالی که بسیاری از فقرا مجبورند تا حدود ۵۷۴ درصد سود برای وام‌های کوتاه‌مدت تحصیلی‌شان بدهند (ص ۸۲).

پیدا کردن احتمال جرم و جنایت هم بی‌نصیب از پیش‌بینی‌های ریاضی نبوده است. از آنجا که سابقهٔ زندانی سیاهان و لاتینوها بیشتر بوده، حدود ۸۵ درصد از بازرسی‌ها خیابانی برای آن‌ها بوده است حال آن که تنها در یک‌دهم درصد موارد آن‌ها مجرم بوده‌اند. نتیجه آن که زندان‌ها بیشتر و بیشتر از آن‌ها پر می‌شود و سامانه‌های پیش‌بینی‌گر ریاضیاتی مجدداً آن‌ها را مورد حمله قرار می‌دهند (صص ۹۲-۹۳).

بیشتر سامانه‌های استخدامی رایانه‌ای شده‌اند. طبق تحقیقی که دو محقق آمریکایی انجام دادند، آن‌ها رزومه‌های غیرواقعی افراد زیادی را به شرکت‌ها استخدامی فرستادند. آن‌هایی که اسمشان به سفیدپوست‌ها می‌خورده است، ۵۰ درصد بیشتر پاسخ گرفته‌اند (صص ۱۱۲-۱۱۳).

مدل‌های تخصیص منابع انسانی اساسش کم کردن کارمندان و بیشتر کردن ساعات مفید کار است. همین مسأله باعث شده است که ساعات شناور کار برای افراد با حقوق پایین باشد و آن‌ها نظم زندگی‌شان به هم بخورد. علاوه بر این، میزان ساعت کارشان از حدی که بیمه به آن‌ها تعلق بگیرد کمتر شده و حتی از بیمه نیز محروم شده‌اند (صص ۱۲۳-۱۴۰).

در سال ۲۰۱۵، یک خانوار سفیدپوست آمریکایی به صورت متوسط ده برابر ثروتمندتر از یک خانوار سیاه‌پوست یا لاتین در آمریکا بوده است. در شصت سالگی این فاصله بیشتر نیز می‌شود و به یازده برابر می‌رسد (ص ۱۴۹). بر همین اساس، برنامه‌های رایانه‌ای تخمین این که چقدر به کسی و با چه سودی وام پرداخت شود بر اساس همین داده‌ها از سیاهان و لاتین‌ها بیشتر سود بانکی می‌گیرد و کمتر وام می‌دهد. کار حتی به جایی می‌رسد که بر اساس پیشینهٔ خرید از کدام مغازه‌ها، که بر اساس تراکنش‌های بانکی قابل رصد است، افراد به گروه‌های اقتصادی از نظر بازگشت وام و دیگر خدمات رفاهی تقسیم می‌شوند. کار فقط به همین جاها ختم نمی‌‌شود؛ بعضی از این برنامه‌ها حتی از روی ویژگی‌هایی مانند داشتن یا نداشتن غلط املایی در فرم‌های ثبت‌شده مخاطبشان را مورد ارزیابی قرار می‌دهند. قاعدتاً فقرا و مهاجرین کمتر تحصیلات دارند و بیشتر چنین اشتباهاتی را مرتکب می‌شوند (ص ۱۵۸). در فلوریدا، بزرگسالانی که هیچ سابقه‌ای از خلاف رانندگی ندارند ولی امتیاز کارت اعتباری‌شان پایین است، سالانه به طور متوسط ۱۵۵۲ دلار بیشتر از رانندگانی با همان مشخصات ولی با سابقهٔ خلاف و امتیاز کارت اعتباری بالا هزینهٔ بیمه پرداخت می‌کنند (ص ۱۶۵). امتیاز کارت اعتباری خود تابعی است از وام‌هایی که قبلاً گرفته شده و پرداخت به موقع قرض‌های اعتباری قبلی. لذا این اتفاق بر همه چیز حتی حق بیمه تأثیر می‌گذارد. در مورد خدماتی مانند بیمه کار دارد کم‌کم به جایی می‌کشد که در ازای قبول نکردن نصب جعبه سیاه در خودروهای شخصی باید پرداخت بیمهٔ بیشتری صورت بگیرد. حالا فرض کنید که کسی مجبور است از خیابان‌هایی رد بشود که محلهٔ خلاف‌کاران است. از این جهت شرکت بیمه از روی اطلاعات جعبهٔ سیاه نصب‌شده در خودرو امتیاز کمتری به راننده می‌دهد و صرفاً بر اساس همین همسایگی با محلهٔ خلاف‌ها هزینهٔ‌ بیمهٔ‌ مشتری را بالا می‌برد. فارغ از مسائل مالی، نصب چنین وسایلی در خودروهای شخصی به صورت بالقوه ناقض حقوق حریم خصوصی افراد است (صص ۱۷۰-۱۷۱). نقض حریم خصوصی تا جایی پیش می‌رود که شرکت داروخانه‌های زنجیره‌ای سی.وی.اس. از کارمندانش می‌خواهد که ریزِ اطلاعات چربی و قند و فشار خون و کلسترول را به شرکت گزارش بدهند و در صورت عدم گزارش ۶۰۰ دلار باید پرداخت کنند. این مسأله شاید هدف اولیه‌اش تشویق افراد به زیست تغذیه‌ای سالم باشد ولی بسیاری از مؤلفه‌ها را در نظر نمی‌گیرد؛ مانند چاقیِ طبیعی افراد مانند زنانی که چند بار بچه‌دار شدند یا به هر دلیلی چاق هستند. یا این که کسانی که به هر دلیلی معلولیت‌های جزئی دارند از کار محروم می‌شوند. البته بررسی‌های صورت‌گرفته نشان داده است که چنین سیاست‌هایی از سوی شرکت‌ها به هیچ وقت منجر به کاهش چربی و کلسترول افراد نشده است و تنها اثر کوتاه‌مدت داشته است (صص ۱۷۶-۱۷۷).

سامانه‌های ریاضیاتی در وب‌سایت‌های آنلاین کاربران را به صورت خاص مورد هدف قرار می‌دهند. تحقیقات نشان داده است که الگوریتم‌های به کار گرفته شده در شرکت‌هایی مانند فیس‌بوک به صورت مستقیم بر تصمیمات افراد در خرید یا حتی انتخابات تأثیر مستقیم دارد (ص ۱۸۴). این مسأله به وضوح در اتفاق اخیر شرکت فیس‌بوک و کمبریج آنالیتیکا مشهود است (ص ۱۹۱).

گاف دموکراتیک انتخابات الکترال آمریکا باعث شده که بسیاری از این سامانه‌ها بر روی ایالت‌هایی سرمایه‌گذاری کنند که همیشه رأیی لب مرزی دارند و بدین صورت رأی مردم را با استفاده از روش‌های آماری و تبلیغات شخصی‌سازی‌شده مورد هدف قرار بدهند (ص ۱۹۶). البته این سامانه‌های ریاضیاتی گاف‌هایی هم داشته‌اند. مثلاً در سال ۲۰۱۶ و پویش انتخاباتی هیلاری کلینتون، نرم‌افزار پیش‌بینی می‌کند که در ایالت‌های میشیگان و ویسکانسین برندهٔ قطعی انتخابات کلینتون خواهد بود و به همین خاطر کمتر روی آن ایالت‌ها سرمایه‌گذاری کردند و نتیجه عکس آن چه که فکر می‌کرده‌اند شد. تناقض جایی آشکار می‌شود که مثلاً بیل کلینتون در سال ۱۹۹۶ ازدواج را فقط بین دو ناهمجنس به رسمیت می‌شناسد چون می‌خواهد رأی ایالاتی چون اوهایو و فلوریدا را به دست آورد ولی شرکتی مثل آی‌بی‌ام از همجنس‌بازها حمایت می‌کند چون شرکت‌های رقیبش مانند یاهو و آمازون از همجنس‌بازها حمایت کرده‌اند و آی‌بی‌ام نمی‌خواهد از قافله عقب بماند خاصه آنکه بسیاری از نخبه‌های امروز کامپیوتر، مانند تیم کوک رئیس شرکت اپل، همجنس‌باز هستند (ص ۲۰۱) .

مشکلات بزرگ سامانه‌های ریاضی این است که برخلاف انسان که آینده‌نگری و تطبیق سریع با شرایط دارد، آن‌ها چنین امکانی را به دشواری به دست می‌آورند (صص ۲۰۳-۲۰۴). بنابراین این مدل‌های ریاضی باید ابزار ما باشند نه ارباب ما (ص ۲۰۷). ممکن است ما بتوانیم با این ابزارهای ریاضی کمک به بهبود وضع جامعه کنیم، مثلاً بفهمیم چطور می‌شود به داد ۶۴۰۰۰ بی‌خانمان شهر نیویورک رسید و چقدر امکانات و فضا در اختیارشان قرار داد (ص ۲۱۴).

راه حل نهایی نویسنده نسبت زیادی با آزادی‌ای ندارد که حداقل در حرف در جامعهٔ آمریکا مراد می‌شود و نویسنده احتمالاً هم‌نظر با آن‌هاست، ندارد: نویسنده در صفجهٔ ۲۲۳ می‌گوید که پردازش‌های الگوریتمی باید ارزش‌ها و اخلاق را مانند فرایندهای انسانی در خود تعبیه کند، مانند کاری که فیس‌بوک در حذف پست‌های مربوط به برهنگی یا داعش انجام داده است.

[Shima Ghaheri · Rating 5 out of 5]

خوندن این کتاب به شدت توصیه میشه!

نویسنده توی این کتاب با بیانی ساده و بدون استفاده از محاسبات پیچیده و آماری، بیان میکنه که استفاده از بیگ دیتا، و اتکا کردن به تکنولوژی صرف، چطوری میتونه به اختلافات طبقاتی، تبعیض ها، و به هم خوردن نظام های یک جامعه دامن بزنه و آسیب های جدی وارد کنه.

توی هر فصل نویسنده موضوعاتی همچون سیستم آموزش، قوه قضاییه، بیمه، اعتبار، بانکداری، و ... رو پیش میکشه و با مثال های کاملا قابل درک و روزمره، بیان میکنه که بیگ دیتا چه نقشی رو در این سیستم ها بازی میکنه و وقتی عاملان و طراحان پشت بیگ دیتا، دقت عمل لازم رو به خرج نمیدن، بیگ دیتا به جای اینکه روند ارزیابی رو بهتر و کارآمدتر کنه، ایجاد باگ میکنه، و استفاده ازش به ضرر اقشار آسیب پذیر جامعه خواهد بود، بدون اینکه افراد آسیب دیده بتونن از حقوقشون آگاه باشن و یا حتی بخوان و بتونن ازش دفاع کنن.