Startup do Google cria IA capaz de zerar vários jogos do Atari — e vencer você!

Eu não sei vocês, mas eu estava bem curioso quando soube da aquisição da startup britânica DeepMind no ano passado por US$ ~400 milhões. Principalmente porque ao buscar informações sobre a empresa, mesmo em seu site oficial, a gente encontrava nada ou bem pouca coisa sobre seus objetivos e tecnologias envolvidas em seus projetos. Sabíamos que era uma empresa especializada em IA e máquinas capazes de aprender.

Mas desde que a DeepMind passou a fazer parte do grupo Google, os caras iniciaram uma sequência de divulgação de várias pesquisas bem interessantes. No artigo mais recente, publicado na Nature e no Google Research Blog, eles demonstram como criaram uma inteligência artificial capaz de interpretar, aprender e jogar games do Atari. Essa nova IA da DeepMind, chamada deep Q-network (DQN), já se ensinou a zerar 49 jogos do clássico console de 8 bits até agora.

Pra gente entender melhor, a mágica funciona da seguinte forma: o sistema criado pela companhia é controlado por algorítimos que aceitam como comandos de entrada os frames dos jogos do Atari. Desde os mais simples aos mais complexos (claro, dentro do que a plataforma permitia), com level design de movimentação vertical, horizontal, pacote completo. O objetivo da máquina era aprender a vencer o jogo, com vários passos numa pegada tentativa e erro. Pense em algo assim: “Qual é o benefício que eu ganho ao apertar esse botão agora?” — a ação era executada e, caso a IA obtivesse sucesso, a lição era incorporada aos futuros cálculos.

Se você também notou a semelhança, é isso mesmo: o processo é bem parecido com o que nós humanos utilizamos pra aprender a jogar. Se fazemos algo que nos aproxima de entender o objetivo do jogo, a gente repete, certo? Então. E, apesar da DQN não se lembrar de tudo o que sempre jogou, ela sabe exatamente o momento que deve saltar e não sente nenhum remorso ao jogar um pobre dinossauro verde no abismo pra atingir uma plataforma mais alta.

Veja os vídeos abaixo com demonstrações do modelo apresentado:

Deepmind artificial intelligence @ FDOT14

https://www.youtube.com/watch?v=Dds_yDJFhvIMnih Supplementary Data video 1 R3 UpdatedJan09

https://www.youtube.com/watch?v=cjpEIotvwFYMnih Supplementary Data video 2 R3

Sim, os comandos, durante o início do processo de aprendizado, são executados de forma meio aleatória. Smash all buttons, como aquele seu priminho chato que sai apertando todos os botões do controle e ainda assim ganha de você no Street Fighter. Um minuto de silêncio pelo meu orgulho ferido. [thread.sleep(60000)]

Mas parte dos novos estudos da DeepMind incluem a criação de novos modelos de memória, para garantir que o aprendizado seja gravado e acessível pelos cálculos dos algorítimos mesmo depois de muito tempo que determinada ação foi aprendida.

Claro, se a gente pegar o exemplo acima do Brekout (jogo da barrinha na parte inferior da tela, na qual a gente precisa usar a bolinha pingando e voltando pra destruir os blocos), um humano precisaria de uma ou duas tentativas pra entender qual a mecânica envolvida, em vez das várias tentativas realizadas pelo computador. Mas depois de aprender, nenhum humano conseguiria ter o poder de reação no momento certo como a máquina consegue. Esse é o tipo de resolução abstrata de problemas que a IA ainda precisa desenvolver.

Ah, mas pra validar o projeto, outros jogos foram testados no estudo?

Excelente pergunta! Segundo o artigo, a DQN foi capaz de jogar 43 dos 49 games melhor que versões anteriores de sistemas com que tinham este intuito. Em 29 jogos, o computador foi capaz de vencer humanos. Contra o processador do videogame então a coisa fica ainda pior. Como por exemplo, no vídeo acima, na parte que o cientista mostra uma luta de Boxe. Foi impiedoso.

Experts da área estão impressionados com a versatilidade dos algorítimos. Não é nada fácil construir uma rede neural com tamanha eficiência, e ainda mais difícil é fazê-la realizar mais de uma tarefa.

IA, Google, carros, robôs que dirigem, robôs cavalos, certamente o know-how da DeepMind pode fazer a diferença nesses projetos. Que, sabemos como vai culminar, certo?

Fontes: Google Research, Nature, Wired e ZDNet.