IA: polícia usa novinha virtual contra predadores no Snapchat

O Departamento de Polícia do Estado do Novo México, nos Estados Unidos, usou um avatar criado com Inteligência Artificial (IA), para que investigadores se passassem por uma adolescente, de modo a atrair predadores online, mirando especificamente no Snapchat.

• IA: quem diria, sua namorada virtual só quer seus dados
• Pr0n: site de mangás 18+ processado por pirataria

O estado abriu um processo formal contra a Snap Inc., empresa controladora da rede social, acusando-a de deliberadamente conectar menores de idade a perfis de adultos, estes com claras e escancaradas terceiras intenções.

Avatar criado com IA, segundo alguns, evita uso de fotos reais para pegar criminosos (Crédito: Stable Diffusion/Ronaldo Gogoni/Meio Bit)

Por outro lado, um especialista apontou para o óbvio problema de órgãos de segurança usando imagens sugestivas de menores, mesmo que estes não existam, para combater o abuso infantil.

IA Contra o Crime?

O processo (cuidado, PDF) movido pelo Novo México contra a Snap descreve uma investigação, realizada pelo Departamento de Justiça do estado norte-americano, para coletar provas de que o Snapchat, originalmente uma rede social criada para compartilhar mensagens e imagens que se autodestroem após um tempo, teria se convertido em um hub para "o compartilhamento de material de abuso sexual contra menores (child sexual abuse material, ou CSAM) e atos de extorsão sexual contra os mesmos".

A investigação foi baseada em indícios que o algoritmo do Snapchat, de forma deliberada, conecta perfis de menores de idade, mesmo os que se fazem uso das ferramentas de privacidade, a usuários adultos engajados na busca e compartilhamento de CSAM, e que os matches não seriam realizados por pura coincidência. Em suma, a rede social teria se convertido em uma ferramenta para predadores, de forma intencional.

O método usado pela polícia do Novo México consistiu em um investigador criando um perfil no Snapchat chamado "Sexy14Heather", de uma garota de supostos 14 anos, como uma conta-isca. A prática para atrair potenciais predadores não é nova, há histórico de ações onde policiais usam suas fotos pessoais como avatares, de quando eram mais jovens, nessas contas.

O perfil foi ilustrado com um avatar 3D padrão do Snapchat, construído para se assemelhar a uma menor de idade, a conta foi configurada como privada, e não continha nenhum seguidor. Mesmo assim, conforme a investigação, ela teria sido recomendada a diversos perfis suspeitos, com nomes de usuário claramente sugestivos ao tipo de conteúdo que buscam na plataforma (não iremos reproduzi-los aqui, leia a íntegra do processo).

Após aceitar uma requisição de follow, as recomendações ficaram ainda piores, totalizando 91 perfis, todos no mesmo estilo: supostamente homens adultos, com mais de 30 anos, buscando conteúdos 18+ envolvendo menores.

O processo descreve trocas de mensagens com alguns desses perfis, que teriam mandado conteúdos explícitos e pedido a "Sexy14Heather" que fizesse o mesmo; o investigador respondeu a um dos contatos, identificado na ação como "50+ SINGL DAD 4 YNGR", enviando uma foto que supostamente seria da menor, que foi gerada por algoritmos de IA.

Aqui as coisas começam a ficar complexas. O Departamento de Justiça do Novo México não esclarece quantas imagens de IA foram enviadas a contatos, apenas anexou uma no processo. Também não entraram em detalhes sobre como essa foto foi criada, se usou ou não material pré-existente, e mais grave, se fotos reais de menores de idade teriam sido empregadas nisso.

Procurado pelo site Ars Technica para explicar o caso, o departamento não respondeu ao contato.

Imagem criada em IA para a conta-isca "Sexy14Heather", e trecho de conversa (Crédito: State of New Mexico)

Combatendo o Mal com o Mal

Para Carrie Goldberg, advogada especializada em crimes sexuais, usar uma imagem criada por IA em uma investigação para atrair e prender predadores, é "menos problemático que usar fotos reais" de menores de idade, mesmo que venham do acervo pessoal dos próprios investigadores de polícia.

Por outro lado, o ato soa como uma espécie de endosso para a criação de CSAM via IA, que está aumentando, mesmo que a foto usada pela polícia não seja nada explícita, embora tenha um teor sugestivo proposital, na vibe Lolita. Goldberg alerta também para a possibilidade que a defesa dos acusados alegue que eles foram induzidos a cometer crimes sem a intenção, e mesmo a existência do crime em si, já que jovem na foto simplesmente não existe.

Por fim, a advogada aponta para o óbvio ululante, de órgãos do governo dos EUA gerando CSAM, ainda que seja para rastrear criminosos. Especialistas defendem que, não importa a justificativa, algoritmos não devem ser treinados com fotos de crianças e adolescentes, e combinadas a conteúdos sugestivos e/ou explícitos, para a criação de resultados questionáveis.

A última coisa que todo mundo precisa, é de mais material de abuso contra menores na net, muito menos criado por forças de segurança "na melhor das intenções", pois todo mundo sabe com o que a estrada para o inferno é pavimentada.

Snapchat tem culpa, diz Novo México

No processo e no comunicado à imprensa, o Departamento de Justiça do Novo México diz que a investigação aponta que o Snapchat é, hoje, uma plataforma que conecta menores a predadores por design. O processo menciona que o algoritmo de busca do app, usado pelo investigador que se passou por "Sexy14Heather", sugeria principalmente perfis de usuários adultos, com nomes sugestivos ao compartilhamento de CSAM, mesmo com a procura restrita a encontrar contas de outros adolescentes.

De acordo com Raúl Torrez, procurador-geral do estado, o processo contra a Snap Inc. foi aberto "para proteger crianças de extorsão e exploração sexuais", e que o Snapchat é um app posicionado pela empresa como voltado aos jovens (leia-se menores), e os conecta com predadores enquanto os vicia com "conteúdos divertidos".

Processo diz que o Snapchat conecta menores com predadores sexuais por design (Crédito: Alamy)

O estado afirma que ao fazer isso, a Snap violou a Lei local que a proíbe de realizar práticas nocivas, e busca classificá-lo como um "perturbação pública". Isso o classificaria como uma rede ilegal, por ser danosa à população e à ordem pública, e caso a acusação se sustente (o que especialistas dizem ser o caso), a empresa pode ser multada em US$ 5 mil por infração, ser obrigada a arcar com despesas médicas das vítimas (por dizer que o Snapchat é seguro, quando não é), e ser obrigada a implementar políticas anti-CSAM e parar com o matching entre adultos e menores.

Em nota, a Snap diz que está avaliando o caso, que "trabalha incessantemente" para identificar, remover, e denunciar usuários mal-intencionados do Snapchat, que "investiu centenas de milhões de dólares" em suas equipes de proteção ao usuário ao longo dos anos, e que "oferece ferramentas de segurança" que conectam as crianças e adolescentes aos seus pais, ou adultos responsáveis.

Sobre as acusações de que o algoritmo do Snapchat seria intencionalmente desenvolvido para conectar menores a predadores, a Snap diz que só se manifestará em juízo.

Para Carrie Goldberg, a posição da Snap como empresa preocupada com os menores é só fachada. A advogada diz que, em casos que defendeu vítimas de abuso contra a companhia, o Snapchat é a plataforma mais perigosa, por ser especialmente atraente para crianças graças a seus "filtros bobos" e outros recursos, e quando algo dá errado, a companhia joga a culpa nos pais ou nos próprios menores, tentando sempre se safar da responsabilidade de protegê-los, e se eximir de parte da culpa em processos por abuso sexual.

O governo do Novo México diz que tomou a atitude de investigar o Snapchat, após dois casos ocorridos na cidade de Albuquerque: no primeiro, um homem chamado Alejandro Marquez foi condenado a 18 anos de prisão por abusar de uma garota de 11 anos, e no segundo, Jeremy Guthrie pegou 36 anos por fazer o mesmo com uma menina de 12; em ambas ocorrências, eles encontraram e aliciaram as menores pelo app.

Fonte: New Mexico Department of Justice, Ars Technica