Algoritmos de Destruição em Massa (Portuguese Edition)

by Cathy O'Neil

Se tivéssemos sido lúcidos, teríamos todos dado um passo atrás para conseguir entender como a matemática fora mal utilizada e como poderíamos prevenir uma catástrofe similar no futuro. Ao invés disso, na esteira da crise, novas técnicas matemáticas estavam bombando, expandindo-se para novos territórios.

São especializadas em volumes massivos, e baratas. É parte do seu atrativo. Os ricos, ao contrário, muitas vezes se beneficiam de contribuição pessoal. Um escritório de advocacia de gabarito ou escolas particulares tenderão muito mais a recomendações e entrevistas cara a cara do que uma rede de fast-food ou distrito escolar com grana curta. Os privilegiados, veremos vez após outra, são processados mais pelas pessoas; as massas, pelas máquinas.

esferas da vida são cada vez mais controladas por modelos secretos exercendo punições arbitrárias.

modelos são, por sua própria natureza, simplificações.

Os pontos cegos de um modelo refletem o julgamento e prioridades de seus criadores.

Modelos são opiniões embutidas em matemática.

Se um modelo funciona ou não também é questão de opinião. Afinal, um componente-chave de todo modelo, seja formal ou informal, é sua definição de sucesso.

racismo é o mais desleixado dos modelos de previsão. Ele é alimentado por coleta irregular de dados e correlações espúrias, reforçado por injustiças institucionais e contaminado por viés de confirmação.

quando se cria um modelo a partir de proxies, ele é muito mais simples de ser burlado. Isso porque os proxies são mais facilmente manipuláveis do que a realidade complexa que eles representam.

Infelizmente, é muito mais simples manter a contagem de detenções e criar modelos que nos considera como farinha do mesmo saco e nos trata como tal. Pessoas inocentes cercadas por criminosos são maltratadas, e criminosos cercados de público cumpridor da lei ganham salvo-conduto. E por causa da forte correlação entre pobreza e notificação de crimes, os pobres continuam sendo pegos nessas diligências policiais digitais.

estão sendo usados como um filtro para eliminar candidatos. “O propósito principal do teste”, disse Roland Behm, “não é encontrar o melhor funcionário. É excluir o maior número de pessoas possível, da forma mais barata possível”.

Sem feedback constante, esses sistemas ficam burros e obsoletos. As empresas contratando trabalhadores por salário mínimo, em contrapartida, estão gerenciando multidões. Elas cortam despesas ao substituir profissionais de recursos humanos por máquinas, e essas máquinas filtram grandes populações em grupos mais manejáveis. A não ser que algo dê muito errado com a força de trabalho — um surto de cleptomania, digamos, ou queda drástica de produtividade — a empresa tem poucos motivos para ajustar o modelo de filtragem. Ele está fazendo o seu trabalho — mesmo que deixando passar as potenciais estrelas. A empresa pode estar satisfeita com o status quo, mas as vítimas de seus sistemas automáticos sofrem.

Quando levo em consideração o modo descuidado e egoísta como as empresas usam dados, sempre me lembro da frenologia,

No mundo das ADMs, privacidade é crescentemente um luxo que apenas os ricos podem bancar.

Se um modelo de Big Data de inscrição universitária houvesse se estabelecido no final dos anos 1960, ainda não teríamos muitas mulheres frequentando o ensino superior, porque ele teria sido treinando largamente em homens de sucesso.

valores sólidos e autoregulação controlam apenas os escrupulosos.

A correção de equidade e justiça é jogar fora os dados.