Meio Bit » Games » AI Dungeon, o jogo gerado por uma IA que virou um pesadelo

AI Dungeon, o jogo gerado por uma IA que virou um pesadelo

Adventure de texto AI Dungeon usa entradas dos jogadores para construir histórias, o que dá uma ideia do que aconteceu a seguir

3 anos atrás

A ideia por trás de AI Dungeon era interessante. O título da startup Latitude é um editor de aventuras em texto, ao estilo dos clássicos do passado. Desenvolvido em parceria com a OpenAI, ele usa um gerador de texto baseado nas entradas dos jogadores, de modo a construir as tramas das aventuras em mundos fantásticos.

O que Latitude e OpenAI não levaram em conta, como muitos antes deles, foi o fator humano, talvez por não contarem com "o cara que malda" em seus quadros, o funcionário responsável por olhar para uma ideia e agir tal qual o capitão Nascimento.

Um dos mundos meramente ilustrativos de AI Dungeon (Crédito: Latitude/OpenAI)

Um dos mundos meramente ilustrativos de AI Dungeon (Crédito: Latitude/OpenAI)

O grupo de pesquisa OpenAI já foi tema de um artigo publicado em 2019 no Meio Bit, em que comentamos sobre o GPT-2 (Generative Pre-trained Transformer-2), um sistema especialista desenvolvido para ser um gerador de texto. Treinado com  40 GB de dados retirados de mais de 8 milhões de páginas da internet, tal IA é capaz de desenvolver textos coesos tendo acesso a entradas mínimas fornecidas por um terceiro.

Na época, o GPT-2 já havia criado uma tremenda dor de cabeça para os pesquisadores do OpenAI, porque aprendeu a escrever bem até demais, o que os levou a limitarem a divulgação da ferramenta, com medo de que ela fosse usada para a criação de Fake News automatizadas, ou fosse usada como um software para a automação de bullying e assédio online.

Ainda assim, as pesquisas continuaram. Em dezembro de 2019, o OpenAI e a Latitude fecharam uma parceria para o lançamento de AI Dungeon, um adventure de texto similar a jogos clássicos como a franquia Zork e outros, estes inspirados nos livros-jogos de Steve Jackson e Ian Livingstone. Só que ao invés de trazer uma história pronta, em que o jogador devwe saber o que digitar, o novo título constrói a aventura com base em ações fornecidas via entrada de texto.

AI Dungeon usa uma versão evoluída da IA geradora de texto da OpenAI chamada GPT-3, e está disponível de forma gratuita, com compras no app, no iPhone (apenas nos Estados Unidos), Android e na web. Nas campanhas de marketing, o jogo é descrito como uma plataforma de testes para sistemas especialistas voltados para geração de texto, de forma fluída e com contexto.

O problema, como ambas empresas descobriram depois, foi não levar em conta o fator humano.

Em abril de 2021, a OpenAI implementou um novo software de monitoramento em AI Dungeon, a fim de verificar os tipos de histórias que o algoritmo GPT-3 estava criando, e os resultados  foram perturbadores. Graças a humanos serem o que são, jogadores estavam alimentando a base de dados do jogo com entradas controversas, fazendo com que a IA passasse a criar cenários contendo encontros sexuais com menores de idade.

Segundo Sam Altman, CEO do grupo de pesquisa, "este não é o futuro que queremos para a IA", e cobrou da Latitude uma atitude imediata para impedir que jogadores usem o GPT-3 para criar histórias com temas escabrosos. O resultado foi a implementação de um novo sistema de moderação, que analisa previamente as entradas dos jogadores, e emite alertas quando reconhece passagens problemáticas, barrando sua inclusão, o que gerou outro problema.

Inúmeros jogadores têm reclamado que sentenças simples, que façam menção a menores sem que haja conotação sexual, disparam o sistema de moderação de AI Dungeon, considerado ultrassensível, o que é compreensível dado o histórico. Outros reclamam que a moderação do algoritmo limita a criação de aventuras com cunho erótico que envolvem apenas adultos, uma vertente que possui um público bem grande dentro do jogo, como era de se esperar (afinal, Regra 34).

Outro mundo meramente ilustrativo de AI Dungeon (Crédito: Latitude/OpenAI)

Outro mundo meramente ilustrativo de AI Dungeon (Crédito: Latitude/OpenAI)

Em geral, usuários (comportados ou não) reclamam que o sistema de moderação e verificação de histórias criadas pelos jogadores caracteriza invasão de privacidade, e que ninguém foi avisado de sua implementação. Como consequência muitos estão abandonando o projeto, que usa um modelo de assinatura de US$ 10 por mês para prover mais recursos.

Não obstante, um usuário revelou uma falha no jogo que disponibilizou todas as histórias criadas pelos usuários de forma pública. Ele baixou 188 mil delas, correspondendo a um período de tempo de 4 dias de abril, e após analisá-las, descobriu que 31% delas eram de cunho erótico, uma porcentagem alta, porém esperada. O bug foi corrigido, mas ele só adicionou mais lenha na fogueira.

A Latitude, obviamente, sentiu a bordoada.

Em uma postagem no blog da startup, um porta-voz informou que o sistema de moderação será refinado, mas não será revisto, e que continuarão a apoiar o público focado em criar histórias consideradas aceitáveis pela empresa, incluindo as de cunho sexual, profano e violento, desde que consensual e de acordo com os limites propostos pela sociedade, Latitude e OpenAI. Conteúdos adultos envolvendo menores continuarão não sendo tolerados.

AI Dungeon atraiu um grande público desde sua introdução, amealhando 100 mil usuários apenas no primeiro mês, mas assim como aconteceu com a Microsoft Tay, para cada 5 usuários comportados, 2 tentarão quebrar o sistema e um deles o fará da pior maneira possível, neste caso, fazendo o algoritmo escrever histórias com teor criminoso, sem se dar conta de seu teor, porque IAs são inteligentes, mas não espertas o bastante para reconhecer contexto como humanos.

Segundo Suchin Gururangan, doutorando e pesquisador da Universidade de Washington, o problema de IAs criando conteúdos tóxicos não tem origem apenas no que usuários digitam, mas também na base de dados usada para treinar os algoritmos, que pode ser viciada.

Em um estudo (cuidado, PDF) que participou, conduzido em parceria com o Instituto Allen para IA (fundado pelo co-fundador da Microsoft Paul Allen), sistemas para geração de texto, incluindo o GPT-3, são propensos a criar histórias e textos com termos e situações problemáticas, se usarem páginas da internet como base para sua fonte de dados, que segundo o OpenAI, foi exatamente o que fizeram.

Não há uma solução simples para isso. Por um lado, é importante monitorar algoritmos para impedir que usuários mal intencionados passem dos limites, mas ao mesmo tempo, forçar demais e incomodar os legítimos também prejudica a imagem final do produto. É preciso encontrar um equilíbrio entre ambos os casos, e ao menos a Latitude e o  OpenAI estão tentando encontrá-lo, mas é fato que irão irritar muitos jogadores até chegarem lá.

Fonte: WIRED

Leia mais sobre: , , .

relacionados


Comentários