Algoritmos de Destruição em Massa (Portuguese Edition)

by Cathy O'Neil

O problema, da perspectiva dos empregados, é um excesso de oferta de mão de obra com baixos salários. Pessoas estão famintas por trabalho, e é por isso que muitas delas se agarram a empregos que mal pagam oito dólares por hora. Este excesso, junto com a escassez de sindicatos efetivos, deixa os trabalhadores praticamente sem qualquer poder de barganha.

A raiz do problema, assim como em muitas outras ADMs, é a escolha de objetivos do modelador. O modelo é otimizado para eficiência e lucratividade, não para justiça ou o bem da “equipe”. Essa, é claro, é a natureza do capitalismo.

Mas além de serem educadores e cuidadores de crianças, os professores obviamente são trabalhadores, e aqui quero mergulhar um pouco mais fundo nos modelos que pontuam suas performances, porque eles podem se espalhar por outras partes da força de trabalho.

O problema era que os gestores perdiam a noção da precisão e exatidão enquanto buscavam ser justos. Eles entendiam que não era certo que professores de escolas ricas recebessem muitos créditos quando os filhos e filhas de doutores e advogados marchavam em direção às universidades de elite. Nem que professores em distritos pobres fossem julgados pelos mesmos padrões de realização. Não podemos esperar que façam milagres.

Provavelmente, a pessoa clicando por um novo Jaguar é mais rica que aquela dando uma olhada num Ford Taurus 2003 no Carfax.com. A maioria dos sistemas de escore também captam a localização do computador do visitante. Quando isso é comparado com dados imobiliários, eles também podem tirar conclusões sobre a riqueza. Uma pessoa usando um computador no Balboa Terrace em São Francisco é um cliente em potencial muito melhor que outra do lado de lá da baía, em East Oakland.

Considere o seguinte. A partir de 2015, famílias brancas tinham em média dez vezes mais bens e dinheiro que famílias negras e hispânicas. E enquanto apenas 15 por cento dos brancos tinham patrimônio líquido zerado ou negativo, mais de um terço de negros e hispânicos se viam sem um colchão de segurança. Essa diferença em riqueza aumenta com a idade. Aos 60, brancos são onze vezes mais ricos que afro-norte-americanos.

Ao final da reunião, um ser humano meticuloso havia esclarecido a confusão gerada por programas de coleta de dados e rastreamento na rede. A funcionária do governo sabia com qual Catherine Taylor estava lidando.

Nos sobra uma questão: quantas Wanda Taylors existem por aí esclarecendo identidades falsas e demais erros em nossos dados? A resposta: não o suficiente. Humanos na economia dos dados são pontos fora da curva e algo retrô. Os sistemas são feitos para rodar automaticamente tanto quanto possível. Essa é a maneira mais eficaz; é aí que estão os lucros.

Recentemente, o Google processou imagens de um trio de felizes jovens afro-americanos e o serviço automático de marcação de fotos os identificou como gorilas. A empresa se desculpou profusamente, mas em sistemas como o do Google, erros são inevitáveis.

Há um paradoxo aqui. Se voltarmos uma última vez ao banqueiro dos anos 1950, veremos que sua mente está ocupada por distorções humanas — desejos, preconceitos, desconfiança de estranhos. Para fazer o trabalho de modo mais justo e eficiente, ele e o resto do setor entregaram o trabalho para um algoritmo. Sessenta anos depois, o mundo é dominado por sistemas automáticos mastigando nossos dossiês repletos de erros.

E o que isso significa para nós? Com o implacável crescimento dos e-escores, somos colocados em lotes e baldes de acordo com fórmulas secretas, algumas delas alimentadas por dossiês cheios de erros. Somos vistos não como indivíduos mas como membros de tribos, e ficamos atados a essa designação. Conforme os e-escores poluem a esfera das finanças, as oportunidades para os pobres diminuem. Na realidade, em comparação com as manadas de ADMs correndo soltas, o preconceituoso credor financeiro de outrora não parece tão mau assim. Um tomador poderia, ao menos, olhá-lo nos olhos e tentar apelar para sua humanidade.

Nessa viagem algorítmica pela vida, lutamos para nos formar e conseguir um emprego (mesmo que seja um que nos força a horários caóticos). Tomamos empréstimos e vimos como nossa credibilidade é um substituto para outros vícios e virtudes. Agora é hora de proteger nossos bens mais valiosos — nossa casa, carro e a saúde de nossa família — e tomar providências para aqueles que um dia deixaremos para trás.

Já discutimos sobre como a crescente disseminação dos escores de crédito por toda a economia trabalha contra os pobres.

Ao mesmo tempo, o monitoramento irá mudar a própria natureza dos seguros. Seguros são um negócio, tradicionalmente, que se vale da maioria da comunidade responder às necessidades de uma minoria desafortunada. Nas vilas em que vivíamos séculos atrás, famílias, grupos religiosos e vizinhos ajudavam uns aos outros quando incêndios, acidentes ou doenças apareciam. Na economia de mercado, nós terceirizamos esse cuidado às empresas seguradoras, que ficam com uma parte do dinheiro para si e chamam de lucro.

No cerne da questão do peso está uma estatística desacreditada, o índice de massa corporal (IMC). Ele é baseado numa fórmula criada dois séculos atrás por um matemático belga, Lambert Adolphe Jacques Quetelet, que sabia quase nada sobre saúde ou o corpo humano. Ele apenas queria uma fórmula simples para medir obesidade numa população grande. Ele a baseou no que chamou de “homem médio”.

Isso é o que acontece quando a rede imensamente poderosa que compartilhamos com 1,5 bilhão de usuários é também uma corporação de capital aberto. Embora o Facebook pareça uma moderna praça de cidade, a empresa determina, de acordo com os próprios interesses, o que vemos e aprendemos em sua rede social. Conforme escrevo, cerca de dois terços dos adultos nos EUA tem um perfil no Facebook.

E o Facebook não é a única empresa a empunhá-lo. Outras corporações de capital aberto, incluindo Google, Apple, Microsoft, Amazon e operadoras de telefonia como Verizon e AT&T têm vasta informação sobre grande parte da humanidade — e os meios para nos guiar da forma que quiserem.

Em 2013, quando uma pesquisadora da Universidade de Illinois chamada Karrie Karahalios conduziu uma pesquisa sobre o algoritmo do Facebook, ela descobriu que 62% das pessoas não sabiam que a empresa mexia no feed de notícias. Elas acreditavam que o sistema instantaneamente compartilhava tudo o que postavam com todos os seus amigos.

A conclusão deles: “Estados emocionais podem ser transferidos a outros (...), levando pessoas a sentir as mesmas emoções sem que tenham consciência disso”. Em outras palavras, os algoritmos do Facebook podem afetar como milhões de pessoas se sentem, e essas pessoas não saberão que isso está acontecendo. O que ocorreria se jogassem com as emoções das pessoas no dia das eleições?

Essa duplicidade, ou “multiplicidade”, não é novidade na política. Os políticos há muito tempo vêm tentando ser diversas coisas ao mesmo tempo, quer estejam comendo salsicha de carne kielbasa em Milwaukee, recitando a Torá no Brooklyn ou jurando lealdade ao etanol de milho em Iowa. Mas, como descobriu Romney, câmeras de vídeo agora podem pegá-los no pulo caso exagerem no contorcionismo.

No fim de 2015, o Guardian reportou que uma empresa de dados políticos, Cambridge Analytica, havia pagado acadêmicos no Reino Unido para associar perfis de Facebook de eleitores nos EUA, com detalhes demográficos e registros de “curtidas” de cada usuário. Eles usaram essas informações para desenvolver análises psicográficas de mais de quarenta milhões de eleitores, classificando cada um na escala dos “grandes cinco” traços de personalidade: abertura a ideias, conscienciosidade, extroversão, amabilidade e neuroticismo.

Eles sabem que se derem imediatamente a contribuição máxima a campanha os verá como “explorados totalmente” e portanto irrelevantes. Mas se recusar a dar qualquer valor também os fará irrelevantes. Assim, muitos dão uma gota de dinheiro com base na concordância com as mensagens que estão ouvindo. Para eles, lidar com um político é como treinar um cão com petiscos. Esse efeito é ainda mais poderoso para doadores dos Super Comitês, que não possuem limite de contribuição. As campanhas, é claro, conhecem bem essa tática.

O microdirecionamento de sucesso explica, em parte, porque em 2015 mais de 43% dos republicanos, de acordo com uma pesquisa, ainda acreditavam na mentira que o presidente Obama era muçulmano. E 20% acreditava que ele havia nascido fora dos EUA, sendo assim um presidente ilegítimo. (Os democratas podem também espalhar suas próprias desinformações no microdirecionamento, mas nada que surgiu se equipara à escala das campanhas anti-Obama).

Em todo caso, todo o sistema político — o dinheiro, a atenção, a bajulação — se vira aos eleitores-alvo como uma flor seguindo o Sol. O resto de nós é praticamente ignorado (exceto pelos convites para arrecadação de fundos). Os programas já previram nosso padrão de voto, e qualquer tentativa de mudá-lo não vale o investimento.

Nesta marcha através da linha do tempo de uma vida hipotética, visitamos escolas e faculdades, tribunais e locais de trabalho, e até mesmo a cabine de votação. Ao longo do caminho, testemunhamos a destruição causada pelas ADMs. Prometendo eficiência e justiça, elas distorcem o ensino superior, aumentam as dívidas, estimulam o encarceramento em massa, esmagam os pobres em quase todos os momentos, e minam a democracia. Pode parecer que a resposta lógica seria desarmar essas armas, uma por uma. O problema é que elas alimentam-se umas das outras.

Nosso lema nacional, E Pluribus Unum, significa “Dentre Muitos, Um”. Mas as ADMs invertem a equação. Trabalhando no escuro, elas esculpem um em muitos, enquanto escondem os danos que causam em nossos vizinhos.

Já vimos isso acontecendo quando bancos tradicionais investem em operações peer-to-peer como o Lending Club. Em suma, as ADMs estão mirando a todos nós. E continuarão a se multiplicar, semeando injustiça, até que tomemos medidas para detê-las. A injustiça, quer seja baseada em ganância ou em preconceito, tem estado presente desde sempre.

Os processos de Big Data programam em código o passado. Eles não inventam o futuro. Fazer isso requer imaginação moral, o que é algo que apenas humanos podem fazer. Temos de explicitamente embutir melhores valores em nossos algoritmos, criando modelos de Big Data que seguem nossa conduta ética. Por vezes isso vai significar colocar equidade antes do lucro.

A virada para o século XX foi uma época de grande progresso. As pessoas podiam iluminar suas casas com eletricidade e aquecê-las com carvão. Ferrovias modernas traziam carne, vegetais e produtos enlatados desde um continente de distância. Para muitos, a vida boa estava ficando melhor. Mas esse progresso tinha um aspecto oculto abominável. Era fomentado por trabalhadores terrivelmente explorados, muitos dos quais crianças. Na ausência de regulamentações de saúde ou segurança, as minas de carvão eram armadilhas mortais. Apenas em 1907, 3.242 mineiros morreram. Trabalhadores em frigoríficos trabalhavam de doze a quinze horas por dia em condições insalubres e muitas vezes enviavam produtos intoxicados.

Como podemos começar a regulamentar os modelos matemáticos que controlam cada vez mais as nossas vidas? Eu sugiro começar o processo com os próprios modeladores. Tal qual os médicos, cientistas de dados deveriam fazer um juramento de Hipócrates, um que se concentrasse nos possíveis usos impróprios e más interpretações de seus modelos. Na sequência do colapso do mercado em 2008, dois engenheiros financeiros, Emanuel Derman e Paul Wilmott, elaboraram tal juramento. Lê-se: ~ Devo me lembrar que não criei o mundo, e ele não satisfaz minhas equações. ~ Embora eu uso modelos de forma audaciosa para estimar valor, não ficarei excessivamente impressionado com a matemática. ~ Jamais irei sacrificar a realidade em prol de elegância sem explicar por que o fiz. ~ Tampouco darei às pessoas que usam meu modelo um falso conforto acerca de sua exatidão. Em vez disso, deixarei explícitas suas hipóteses e omissões. ~ Eu entendo que meu trabalho possa causar enormes efeitos na sociedade e na economia, muitos dos quais para além da minha compreensão.

muitos estados consultam antes de sentenciar detentos. Nesses casos,

O governo, é claro, tem um poderoso papel regulatório a cumprir, da mesma forma que teve quando confrontado com os excessos e tragédias da primeira revolução industrial. Pode começar adaptando e depois aplicando as leis que já estão em vigor.

uma reunião com importantes autoridades públicas, nosso grupo preparou uma apresentação de PowerPoint sobre os sem-teto na cidade. Depois do slide com estatísticas sobre a reincidência e a efetividade do Section 8 ser exibido, ocorreu uma conversa extremamente incômoda e breve. Alguém exigiu que o slide fosse tirado. A linha do partido prevaleceu.

Mas, como tentei mostrar ao longo deste livro, esses modelos são construídos não apenas de dados, mas das escolhas que fazemos sobre em quais dados prestar atenção — e quais deixar de fora. Essas escolhas não tratam apenas de logísticas, lucros e eficiência. Elas são fundamentalmente morais.