Algoritmos de Destruição em Massa (Portuguese Edition)

by Cathy O'Neil

Mas perto do fim de 2008, depois de ter estado lá por pouco mais de um ano, tudo desmoronou. O colapso deixou bem claro que a matemática, outrora meu refúgio, não apenas estava profundamente emaranhada nos problemas mundiais como era também o combustível de muitos deles.

Se tivéssemos sido lúcidos, teríamos todos dado um passo atrás para conseguir entender como a matemática fora mal utilizada e como poderíamos prevenir uma catástrofe similar no futuro.

Petabytes de dados eram processados 24 horas por dia, 7 dias por semana, muitos deles raspados de redes sociais ou sites de e-commerce. E cada vez mais o foco não era nos movimentos dos mercados financeiros globais, mas nos seres humanos. Em nós. Matemáticos e estatísticos estavam estudando os nossos desejos, movimentações e poder de compra. Eles previam nossa credibilidade e calculavam nosso potencial enquanto estudantes, trabalhadores, amantes e criminosos.

os matemáticos e cientistas da computação. Suas decisões, mesmo quando erradas ou danosas, estavam para além de qualquer contestação. E elas tendiam a punir os pobres e oprimidos da sociedade enquanto enriquecia ainda mais os ricos.

Se a Amazon.com, por meio de uma correlação defeituosa, começasse a recomendar livros de jardinagem a adolescentes, os cliques desabariam, e o algoritmo seria ajustado até passar a acertar. Sem feedback, no entanto, um mecanismo estatístico pode continuar fazendo análises ruins e danosas sem nunca aprender com seus erros.

Um escritório de advocacia de gabarito ou escolas particulares tenderão muito mais a recomendações e entrevistas cara a cara do que uma rede de fast-food ou distrito escolar com grana curta. Os privilegiados, veremos vez após outra, são processados mais pelas pessoas; as massas, pelas máquinas.

Depois de um vai-e-vem de meses, Kamras disse a ela que esperasse pelo próximo relatório técnico. Bax respondeu: “Como você justifica avaliar pessoas por uma medida que você não é capaz de explicar?”. Mas essa é a natureza das ADMs. A análise é terceirizada a programadores e estatísticos. E, por via de regra, deixam as máquinas falarem por si.

Modelos matemáticos mal concebidos agora microgerenciam a economia, de publicidade a penitenciárias. Essas ADMs possuem muitas das mesmas características do modelo de valor agregado que descarrilou a carreira de Sarah Wysocki nas escolas públicas de Washington. São obscuras, incontestáveis e irresponsabilizáveis, e operam em larga escala para ordenar, atingir ou “otimizar” milhões de pessoas. Ao confundir seus resultados com a realidade pé-no-chão, a maioria delas cria ciclos destrutivos de feedback.

As vítimas? Bem, um cientista de dados poderia dizer que não existe sistema estatístico perfeito. Aquela gente é dano colateral. E muitas vezes, como Sarah Wysocki, são tidos como desprezíveis e descartáveis. Esqueça-os por um instante, podem dizer, e se concentre em todas as pessoas que recebem sugestões úteis de mecanismos de recomendação ou encontram as músicas que gostam no Pandora ou Spotify, o emprego ideal no LinkedIn, ou quem sabe o amor de suas vidas no Match.com. Pense na dimensão e escala impressionantes, e ignore as imperfeições.

Um modelo, afinal de contas, nada mais é do que a representação abstrata de algum processo, seja um jogo de beisebol, a cadeia logística de uma petroleira, as ações de um governo estrangeiro, ou o público de um cinema. Esteja ele rodando dentro de um computador ou na nossa cabeça, o modelo pega o que sabemos e usa isso para prever respostas em situações variadas. Todos nós carregamos milhares de modelos em nossas cabeças. Eles nos dizem o que esperar, e guiam nossas decisões.

As atualizações e ajustes fazem dele o que os estatísticos chamam de “modelo dinâmico”.

Sempre haveria erros, entretanto, porque modelos são, por sua própria natureza, simplificações. Nenhum modelo consegue incluir toda a complexidade do mundo real ou as nuances da comunicação humana. Inevitavelmente alguma informação importante fica de fora.

Os pontos cegos de um modelo refletem o julgamento e prioridades de seus criadores. Ainda que as escolhas no Google Maps e nos softwares de aviônica pareçam claras e inequívocas, outras são mais problemáticas. O modelo de valor agregado nas escolas de Washington, D.C., para voltar àquele exemplo, avalia os professores basicamente com as notas das provas dos alunos, à medida que ignora quanto os professores os envolvem e cativam, trabalham em tarefas específicas, lidam com o controle da sala ou os ajudam com problemas pessoais ou familiares.

Aqui vemos que os modelos, apesar de sua reputação de imparcialidade, refletem objetivos e ideologias. Quando tirei a possibilidade de comerem doces em todas as refeições, estava impondo a minha ideologia ao modelo de refeições. É algo que fazemos sem pensar duas vezes. Nossos próprios valores e desejos influenciam nossas escolhas, dos dados que optamos por coletar às perguntas que fazemos. Modelos são opiniões embutidas em matemática.

Meu próprio modelo tenta mesclar um pouco da gestão de recursos norte-coreana com a felicidade dos meus filhos, junto com minhas próprias prioridades de saúde, conveniência, diversidade de experiência e sustentabilidade. Como resultado, é muito mais complexo. Mas ele ainda reflete minha própria realidade pessoal. E um modelo criado para hoje irá funcionar um pouco pior amanhã. Ficará obsoleto se não for atualizado de forma constante.

Portanto, racismo é o mais desleixado dos modelos de previsão. Ele é alimentado por coleta irregular de dados e correlações espúrias, reforçado por injustiças institucionais e contaminado por viés de confirmação. Desse modo, curiosamente, o racismo opera como muitas das ADMs que serão descritas neste livro.

Independentemente de a questão racial aparecer ou não de forma explícita em julgamento, ela tem sido há muito um fator decisivo em sentenças. Um estudo da Universidade de Maryland mostrou que no Condado de Harris, que inclui Houston, quarta cidade mais populosa dos EUA, os promotores eram três vezes mais propensos a solicitar pena de morte para afro-americanos, e quatro vezes para hispânicos, em comparação a brancos condenados pelas mesmas acusações.

Mas conforme as questões continuam indo mais a fundo na vida da pessoa, é fácil imaginar como detentos de origem privilegiada iriam responder de um jeito e aqueles vindos das árduas ruas do centro da cidade de outro. Pergunte a um criminoso que cresceu num confortável bairro nobre sobre “a primeira vez em que você se envolveu com a polícia”, e ele pode não ter um único incidente a relatar além daquele que o fez ser preso. Homens negros jovens, em contrapartida, provavelmente já foram parados pela polícia dezenas de vezes mesmo sem ter feito nada de errado.

Devo acrescentar que meu modelo muito dificilmente ganharia escala. Não vejo o Walmart, o Ministério da Agricultura dos EUA ou qualquer outro titã adotar meu app e impô-lo sobre centenas de milhões de pessoas, como ocorre com algumas das ADMs sobre as quais debateremos. Não, meu modelo é benigno, em especial porque provavelmente nunca vai sair da minha cabeça e ser formalizado em código de programação.

De outro modo muitos detentos tentariam manipulá-lo, dando respostas que os fizessem parecer cidadãos exemplares. Então os detentos são “mantidos no escuro” tanto quanto possível e não sabem quais são suas pontuações de risco. Nisto, dificilmente estão sozinhos. Modelos opacos e invisíveis são a regra, e os transparentes a exceção. Somos modelados enquanto compradores e preguiçosos de sofá, enquanto pacientes médicos e requerentes de empréstimo, e disso vemos muito pouco

Se ao entrar num espetáculo a céu aberto o funcionário lhe dissesse que não é permitido sentar-se nas dez primeiras fileiras, você acharia descabido. Mas se lhe fosse explicado que as dez primeiras fileiras são reservadas para pessoas com cadeira de rodas, pode fazer uma boa diferença. Transparência é importante.

No caso de gigantes da web como Google, Amazon e Facebook, esses algoritmos precisamente talhados valem sozinhos centenas de bilhões de dólares. As ADMs são, por projeto, caixas-pretas impenetráveis. Isso torna mais difícil ainda responder a segunda pergunta: o modelo funciona contra os interesses do sujeito? Em resumo, é injusto? Ele danifica ou destrói vidas?

Mas escala é o que transforma ADMs de um pequeno incômodo para algo com a força de um tsunami, um que define e delimita nossas vidas. Como veremos, as ADMs sendo desenvolvidas nas áreas de recursos humanos, saúde e sistema bancário, só para citar algumas, estão rapidamente estabelecendo normas gerais que exercem sobre nós algo muito próximo do poder de lei.

A reforma penal é uma raridade no mundo politicamente polarizado de hoje, uma questão sobre a qual há consenso entre progressistas e conservadores.

Então, resumindo, esses são os três elementos de uma ADM: Opacidade, Escala e Dano.

ADMs são danosas universalmente. Afinal de contas, elas podem enviar pessoas à Harvard, arranjar-lhes empréstimos baratos ou bons empregos, e reduzir tempo de prisão de alguns réus sortudos. Mas a questão não é se alguém se sairá beneficiado. É que fazem muitos sofrer. Esses modelos, movidos por algoritmos, fecham portas na cara de milhões de pessoas, muitas vezes pelas mais frágeis das razões, e não oferecem recurso ou apelação. São injustos.

Esse é o meu argumento. Essa ameaça está crescendo. E o mundo das finanças nos proporciona uma história para servir de lição.

Eram os fundos de aposentadoria e hipotecas das pessoas. Em retrospectiva, isso soa mais do que evidente. E, é claro, eu sabia disso o tempo todo, mas não havia verdadeiramente reconhecido a natureza dos cinco, dez, vinte e cinco centavos que arrancávamos com nossas ferramentas matemáticas. Não era dinheiro achado, como pepitas de um jazigo ou moedas de um galeão espanhol naufragado. Essa riqueza vinha do bolso das pessoas. Para os fundos multimercado, os mais convencidos agentes de Wall Street, isso era “dinheiro de burro”.

Como o mundo veria depois, empresas de hipoteca estavam tendo lucros fartos durante o boom ao emprestar dinheiro para pessoas comprarem casas que não poderiam pagar.

Em ambas as culturas, riqueza não é mais um meio de sobreviver. Se torna diretamente ligada ao valor individual. Um jovem de bairro nobre com todas as vantagens — escola particular, coaching para os testes de admissão da faculdade, um semestre de intercâmbio em Paris ou Shangai — ainda se gaba de que são suas competências, trabalho duro e habilidades extraordinárias de resolução de problemas que o içaram a um mundo de privilégios. O dinheiro vindica todas as dúvidas. E o resto do círculo dele entra no jogo, formando uma sociedade de admiração mútua.

Em ambas as indústrias, o mundo real, com toda sua bagunça, fica de lado. A inclinação é de substituir pessoas por rastros de dados, transformando-as em compradores, eleitores ou trabalhadores mais eficientes, para otimizar algum objetivo.

Do jeito que enxergavam a situação, tinham a chance de buscar uma educação de elite e uma carreira próspera ou então ficar presos em sua cidade de província, que viam como um lugar atrasado. E se era o caso ou não, tinham a percepção de que os demais estavam colando. Então impedir os alunos de Zhongxiang de colar era injusto. Num sistema em que colar e trapacear é o normal, respeitar as regras significa estar em desvantagem. É só perguntar aos ciclistas do Tour de France que foram aniquilados durante sete anos pelo doping de Lance Armstrong e sua equipe.

Este é o caso não somente na China como também nos Estados Unidos, onde pais, alunos e secretarias de admissão dos colégios veem-se num esforço frenético de burlar o sistema gerado pelo modelo da U.S. News.

As vítimas, é claro, são a imensa maioria dos norte-americanos, as famílias pobres e de classe média que não têm milhares de dólares para gastar em cursos e consultorias. Elas perdem preciosas informações de fontes internas. O resultado é um sistema educacional que favorece os privilegiados. Ele inclina-se contra os alunos necessitados, trancando para fora a vasta maioria deles — empurrando-os em direção a um caminho de pobreza. O sistema aprofunda o fosso social.

Por que, especificamente, estavam mirando nessas pessoas? Vulnerabilidade vale ouro. Sempre valeu. Imagine um charlatão itinerante num filme antigo de velho-oeste. Ele chega na cidade com sua carroça cheia de jarros e garrafas estridentes. Quando senta-se com uma cliente idosa interessada, ele procura pela fraqueza dela.

Uma vez que a ignorância for estabelecida, o mais importante ao recrutador, assim como ao comerciante impostor, é localizar as pessoas mais vulneráveis e usar as suas informações privadas contra elas próprias. Isso envolve encontrar o lugar em que sofrem mais, o chamado “ponto de dor”. Pode ser baixa auto-estima, o estresse de criar filhos em bairros de gangues violentas, ou talvez um vício em drogas. Muitas pessoas, sem perceber, revelam seus pontos de dor quando fazem buscas no Google ou depois, preenchendo questionários de faculdades.

Da próxima vez, tentarão uma abordagem levemente diferente. Pode parecer infrutífero, já que muitas dessas ofertas terminam no lixo. Mas para muitos profissionais de mala direta, quer seja na Internet ou pelo correio, uma resposta de 1% seria um sonho. Afinal, estão trabalhando com números enormes. Um por cento da população norte-americana são mais de 3 milhões de pessoas.

E cada vez mais as máquinas estão examinando nossos dados por conta própria, procurando por nossos hábitos e esperanças, medos e desejos. Com machine learning — o aprendizado automático de máquina

Cientistas da linguagem, por exemplo, passaram décadas, dos anos 1960 ao início deste século, tentando ensinar computadores a ler. Durante a maior parte desse período, programaram definições e regras gramaticais no código. Mas como qualquer estudante de língua estrangeira sabe, uma língua é repleta de exceções. Há gírias e sarcasmo. O significado de certas palavras muda com o tempo e a localização geográfica. A complexidade de uma língua é o pesadelo de um programador. No fim das contas, a programação é inútil. Mas com a Internet, pessoas de todo o mundo têm produzido quadrilhões de palavras sobre nossas vidas e trabalhos, amizades e forma como compramos.

O ciclo de feedback dessa ADM é bem menos complicado do que é nefasto. Os 40% mais pobres da população dos EUA estão em sérias dificuldades. Muitos empregos na indústria desapareceram, substituídos por tecnologia ou enviados ao exterior. Os sindicatos perderam seu poder. Os 20% no topo da população controlam 89% da riqueza no país, e os 40% inferiores não controlam nada. Seus patrimônios são negativos: a média de dívida nessa enorme e batalhadora classe-baixa é de 14.800 dólares por casa, muitos dos quais em contas de cartão de crédito extorsivas. O que essas pessoas precisam é de dinheiro. E o decisivo para ganhar mais dinheiro, eles ouvem repetidamente, é a educação.

Mas e os crimes removidos dos mapas do PredPol, aqueles cometidos pelos ricos? Nos anos 2000, os reis das finanças deram festas de luxo a si próprios. Mentiram, apostaram bilhões contra os próprios clientes, cometeram fraudes e pagaram as agências de rating. Crimes enormes foram cometidos, e o resultado devastou a economia global por boa parte de cinco anos. Milhões de pessoas perderam suas casas, empregos e planos de saúde.

Eles gastam bastante dinheiro com nossos políticos, o que sempre ajuda, e também são vistos como essenciais à nossa economia. Isso os protege. Se os bancos afundam, a economia poderia afundar junto (os pobres não têm tal argumento).

O que descobrimos, sem muita surpresa, era que a imensa maioria desses encontros — cerca de 85% — envolvia homens jovens afro-americanos ou latinos. Em certos bairros, muitos deles eram parados repetidamente. Apenas 0,1%, ou uma pessoa a cada mil, tinha alguma ligação com um crime violento.

Então justiça não é calculada nas ADMs. E o resultado é a produção massiva e industrial de injustiça. Se pensar numa ADM como uma fábrica, injustiça é aquela coisa preta saindo das chaminés de fumaça. É um tipo de emissão tóxica.

Mas uma parte crucial da justiça é a igualdade. E isso significa, dentre muitas outras coisas, experimentar a justiça criminal de modo igual. Pessoas que favorecem políticas como o parar-e-revistar deveriam elas próprias experimentá-las. A justiça não pode ser apenas algo que uma parte da sociedade impõe sobre outra.

Outro modo de ver os mesmos dados, porém, é que esses detentos moram em bairros pobres com péssimas escolas e oportunidades escassas. E são altamente policiados. Então as chances de que um ex-presidiário voltando àquele bairro irá esbarrar com a lei são com certeza maiores que um sonegador de impostos que é solto num bairro nobre arborizado. Nesse sistema, os pobres e não brancos são punidos mais por serem quem são e morarem onde moram.

Se eu tivesse a oportunidade de ser cientista de dados do sistema judicial, faria o meu melhor para investigar profundamente sobre o que acontece dentro daqueles presídios e qual impacto essas experiências têm no comportamento dos detentos.

Mas os presídios têm todo incentivo para evitar essa abordagem baseada em dados. Os riscos de relações públicas são grandes demais — nenhuma cidade quer ser objeto de uma reportagem mordaz no New York Times. E, é claro, há dinheiro grande surfando no superlotado sistema penitenciário. Presídios privados, que abrigam apenas 10% da população carcerária, são uma indústria de US$ 5 bilhões. Tal qual companhias aéreas, os presídios privados lucram apenas quando rodam em capacidade elevada. Cutucar demais pode ameaçar essa fonte de renda. Então, em vez de analisar e otimizar os presídios, lidamos com eles como caixas-pretas.

E quais critérios seriam esses? Essa parecia ser a parte fácil. O St. George’s já possuía registros volumosos das triagens dos anos anteriores. O trabalho era ensinar ao sistema computadorizado como replicar os mesmos procedimentos que eram seguidos por humanos. Como tenho certeza que você pode adivinhar, esses inputs foram o problema. O computador aprendeu com os humanos como discriminar, e realizou esse trabalho com uma eficiência de tirar o fôlego.

são pessoas, e normalmente as que precisam muito de dinheiro. E porque precisam de dinheiro tão desesperadamente, as empresas podem dobrar as vidas dessas pessoas aos ditames de um modelo matemático.