Ferramenta de recrutamento da Amazon com AI discriminava candidatas mulheres

Uma ferramenta que usava inteligência artificial pra automatizar a busca por candidatos para empregos na Amazon tinha um grande problema, ela tinha preconceito contra mulheres. O sistema foi criado pela Amazon em 2014, e analisava os currículos enviados, dando uma nota de 1 a 5 estrelas para cada, no mesmo esquema dos produtos vendidos na sua loja online.

A proposta era boa, ajudar o pessoal do RH da Amazon a selecionar os melhores candidatos para as vagas da empresa de forma simples e rápida, mas já no ano seguinte da sua criação, a Amazon descobriu que a ferramenta tinha sérios problemas com o sexo feminino, não por ser machista, e sim por ter aprendido da forma errada.

Segundo o furo da Reuters, a discriminação da ferramenta contra candidatas do sexo feminino no processo de seleção de novos funcionários acontecia pois ela foi criada em cima de padrões de currículos enviados para a empresa nos últimos 10 anos, que são em sua imensa maioria de homens, como acontece na maior parte da indústria de tecnologia, assim considerava os candidatos homens naturalmente mais aptos para as vagas.

Uma simples menção ao termo "de mulheres" no currículo era penalizada pela ferramenta, e reduzia as chances das postulantes às vagas, mesmo que estivesse se referindo a instituições de ensino só para mulheres. O time responsável pelo desenvolvimento da ferramenta ficava na sede da Amazon em Edimburgo, Irlanda, mas só percebeu o problema depois que a ferramenta já estava sendo usada na prática.

Com modelos de computador sobre funções e locais onde as vagas estavam disponíveis, os engenheiros treinaram o algoritmo com 500 modelos de computador para reconhecer mais de 50 mil termos encontrados nos currículos enviados nos últimos anos. O problema é que o resultado acabou sendo tendencioso, e portanto, nada justo.

A Amazon então tentou adaptar a ferramenta para que os resultados não mostrassem distorções, eliminando as implicâncias da inteligência artificial com os termos citados, mas não deu muito certo, e a empresa acabou desmontando a equipe que criou o sistema de recrutamento no ano passado. A empresa diz que a ferramenta nunca chegou a ser usada de forma exclusiva para definir as contratações, e era mais como uma recomendação para os profissionais de recursos humanos, mas mesmo assim, a coisa pegou muito mal.

Ao ser questionada pela Reuters, a Amazon não quis comentar sobre a ferramenta de recrutamento, mas disse que está comprometida com a diversidade em seus ambientes de trabalho. Atualmente eles usam uma versão reduzida, enxuta e corrigida da ferramenta, mas garantem que ela não é, nunca foi e nunca será usada para tomar decisões sozinha, e sim para facilitá-las. Sem desistir da ideia completamente, a Amazon montou um novo time em Edimburgo pra criar uma nova versão da ferramenta, só que desta vez com foco na diversidade dos candidatos.

Apesar do medo que a inteligência artificial vá acabar reduzindo os empregos, Satya Nadella, da rival Microsoft, acredita que ela tem o potencial de criar mais vagas, e não reduzi-las. A IA nem sempre é benéfica para consumidores, existem empresas por exemplo criando sistemas para taxarem passageiros por excesso de peso no próprio corpo, não apenas nas suas bagagens.

De qualquer maneira, o caso da ferramenta de recrutamento da Amazon serve como alerta pra quem acha que a IA vai resolver todos os nossos problemas de forma automática. Com certeza a tecnologia tem o potencial para nos ajudar de muitas formas, mas é sempre importante que a supervisão humana esteja atenta para ter certeza que não estão cometendo nenhuma injustiça com base em dados errados.