Um alento: mesmo a melhor IA ainda não é capaz de passar no vestibular

robot-student

A gente costuma brincar que o apocalipse robótico está dobrando a esquina, que muitas inteligências artificiais existentes hoje nos superam em diversos aspectos (e isso é verdade) mas a real é que humanos são muito mais versáteis do que máquinas: somos imprevisíveis, capazes de improvisar e diversificar nossas áreas de atuação.

Tudo bem que o ALPHA deu um banho em um piloto de caça, mas uma IA por mais avançada que seja é normalmente programada para desempenhar uma atividade e aprender com ela, através de algoritmos genéticos. Quando passamos para improvisação e pensamento lateral não estamos mais falando de lógica e sim de heurística, e aí a conversa é completamente diferente.

Não que seja impossível, o Google DeepMind já joga videogamedominou o Go, tido como o jogo mais complexo de todos dada sua magnitude; o algoritmo não só consegue joga-lo como derrotou o melhor jogador do planeta, e agora está sendo empregado para detectar doenças oculares com antecedência (e está aprendendo a jogar StarCraft II). Ainda assim são tarefas um tanto isoladas, ligadas a um conjunto de ações e decisões pré-determinadas e com variações quantificáveis (mesmo no Go, que possui 10761 partidas possíveis).

Quando abrimos o leque de habilidades que uma IA deve ter para desempenhar uma função as coisas se complicam, e quem constatou isso foi o Instituto Nacional de Informática do Japão. Um grupo de pesquisadores estava trabalhando em uma inteligência artificial que fosse capaz de passar no vestibular da Universidade de Tóquio (Tōdai para os íntimos), a instituição mais prestigiada do país obviamente, possui um processo seletivo para lá de casca-grossa.

A pesquisa data de 2011, e desde então os pesquisadores vinham alimentando o algoritmo para que ele fosse capaz de ler, compreender e responder as questões do exame de forma apropriada e nas mesmas condições de um candidato humano, para que não houvessem dúvidas de favorecimento. As questões não eram preparadas antecipadamente ou exclusivas, o robô tinha que pegar a prova no ato e se virar, como todo mundo.

Aí veio a realidade: programar uma função é fácil, mas fazer uma IA dominar conhecimento geral é muito mais complicado: em 2015 o Tōdai Robot Project atingiu uma pontuação de 511 de 950 pontos possíveis, o que pode parecer muito mas não é nem perto do necessário para a admissão na universidade. A profa. dra. Noriko Arai, parte do time de pesquisas declarou que “uma IA ainda não é boa o bastante para responder uma questão que requer a capacidade de compreensão em um amplo espectro”.

Basicamente o algoritmo tinha dificuldades com contexto: embora ele pudesse dar uma resposta satisfatória ele não conseguia entender o que era proposto, driblar as pegadinhas e nuances das questões mais subjetivas, coisa que um humano consegue fazer. Dessa forma, após o time avaliar que a IA só seria capaz de passar no vestibular com muito otimismo em 2022, o projeto foi cancelado.

Nós temos IAs capazes de compreender contexto mas de novo, estamos tratando de um teste geral que exige entre outras coisas conhecimentos gerais inclusive de atualidades. O Tōdai Robot Project demandaria atualizações constantes para sempre estar a par dos acontecimentos recentes e muito provavelmente continuaria se confundindo nos vestibulares seguintes. Pode ser que um dia seja possível os robôs alcançarem tal façanha, mas por enquanto eles continuarão tendo que frequentar o cursinho.

Fonte: Fujitsu.

Relacionados: , , , , , , , , , , ,

Autor: Ronaldo Gogoni

Um cara normal até segunda ordem. Além do MeioBit dou meus pitacos eventuais como podcaster do #Scicast, no Portal Deviante.

Compartilhar
  • Atrollando Natuacara
  • Luiz

    Uma AI não é boa o bastante para superar AIs do futuro, deveriam ter testado no enem.

    • ENEM é fácil, pq ele trabalha com linguagem, não com decoreba de professor de cursinho

  • Luiz

    Go não é o jogo mais complexo de todos, só se por mais complexo só incluir jogos de tabuleiro e não os de computador com o Starcraft mesmo.

  • Carlos Marin

    Mesmo assim ela foi melhor que muita gente prestando o vestibular e ENEM.

  • Desde quando IA precisa entender as nuances da conversa e escrita humana pra começar o apocalipse robótico e extermínio humano?

    https://uploads.disquscdn.com/images/7804984f5931219842733e11a6e679eb0c66f42cc0279c5f7e879b2646a078c8.jpg

    • cloverfield

      Lembrando que no filme dos Vingadores o Ultron deu uma olhada rapidinha na Internet, tipo uns 30 segundos, e já resolveu exterminar a humanidade.

  • “driblar as pegadinhas e nuances das questões mais subjetivas, coisa que um humano consegue fazer.”
    Concurso público que o diga.
    Mas não é para qualquer humano não, (por isso já tenho meu Diploma de Burrice e Trouxice)

    • Felipe Braz

      acho que essa frase poderia terminar com “coisa que ao menos uma parcela dos humanos consegue fazer”

    • Manoel Jorge Ribeiro Neto

      O chato de concurso público são essas pegadinhas. O sujeito estuda feito um louco para o concurso, está super afiado e “gabaritando” todos os simulados, mas cai nelas e é ultrapassado por alguém que certamente respondeu no chute as questões com pegadinhas :/ .

      • @cheesepaulo

        pegadinha em prova é a coisa mais #F que tem. Já tive professor de programação que mudava um ; na declaração do método. Ou então alterava uma letra aleatória no meio de um bloco de código de meia página. A missão era dizer exatamente porque o código não funciona. Literalmente tínhamos que compilar caractere a caractere em busca da zoeira.

        Mas já fui professor também e é só festa fazer uma questão assim huauauhuhauha

      • Já passei um concurso assim só no chutômetro kkkkkk
        Essa pegadinhas são iguais as perguntas de raciocínio lógico, a pergunta parece digna de gênio, mas é tudo do Malandro.

        • Torquato Pit Bull

          Matemática discreta! Simples assim.

      • Torquato Pit Bull

        Será que o problema está nas pegadinhas, ou no sujeito que tenta aprender os padrões e leva pau?

        • Manoel Jorge Ribeiro Neto

          Eu acho que não, é o contrário: a maioria dos concursos favorece quem gosta de decorar padrões. Lembrei-me agora de um exemplo simples que exemplifica isso. Teve um concurso recente para analista de TI (engenheiro de software) do IFAL que tinha uma questão com uma foto dos conectores USB (USB-C, mini-USB, micro-USB etc), para o sujeito dizer quem era quem. Essa é uma questão tão banal que a pessoa terminava errando, pois é algo praticamente irrelevante para o dia a dia no trabalho de um engenheiro de software, além de que toda a sopa de letras nas opções estava misturada, sendo muito fácil para errar.

          EDIT: Mudando um pouco de assunto. Lembrei-me agora de um exemplo super tosco que ocorreu em um concurso para analista de sistemas da Transpetro que fiz em 2007: tinha uma questão (de conhecimentos gerais, não era específica), em que a resposta correta era “Second Life” (aquele joguinho tosco que ganhou fama em 2007 porque um jornalista que nunca jogou games achou que era “revolucionário”). Não era pegadinha (afinal, o joguinho estava aparecendo em todos os jornais), mas achei a questão tão tosca que me deu vontade de errar de propósito 😛 !

  • la_gomes

    Gostaria de fontes falando de algoritmos genéticos utilizados em machine learning, porque só uso para otimização e vai que estou subutilizando a ferramenta

    • Manoel Jorge Ribeiro Neto

      Algoritmos genéticos podem ser utilizados para otimizar redes neurais, por exemplo. Mas até onde sei a principal função dos algoritmos genéticos é para otimização.

      • Luis Eduardo Boiko Ferreira

        mais precisamente seleção de atributos. Vale salientar que sua utilização não é restrita a redes neurais, mas a qualquer algoritmo de classificação, regressão ou agrupamento.

    • Luis Eduardo Boiko Ferreira

      Pois é cara, sou pesquisador da área e também fico f#dido com estes erros. É foda criticar os jornalistas do G1 por falar bobagem e fazer igual.

      • la_gomes

        o pior é que eles me bloqueiam quando aponto o erro, afinal só quem erra é o G1

  • Marcogro®

    Não demora muito pra que ela aprenda que se pode comprar um gabarito… Deixa só ela fazer um estágio de aprendizado por aqui…

  • Fausto Biazzi de Sousa

    “Basicamente o algoritmo tinha dificuldades com contexto: embora ele pudesse dar uma resposta satisfatória ele não conseguia entender o que era proposto, driblar as pegadinhas e nuances das questões mais subjetivas, coisa que um humano consegue fazer.”

    Basicamente um estudante médio de qualquer universidade brasileira… deem um diploma pra esse algoritmo!

  • Inquisidor

    só não passou por que a A.I não é esquerdista.

  • Luis Eduardo Boiko Ferreira

    “e aprender com ela, através de algoritmos genéticos.”
    Caceta cara, nem pra dar uma pesquisada sobre o assunto antes? IA e algoritmos genéticos, ou redes neurais (estou olhando pra você Cardoso) não são sinônimos!!!
    A uns 10 anos atrás algoritmos genéticos eram a moda para feature engineering. Eu mesmo implementei na unha um algoritmo destes e chegava a cansar de ver ele rodando. Geração após geração os melhores cromossomos cruzando (epa!) e gerando filhos cada vez mais fortes, para então vir alguma mutação (incest fail?) e cagar com tudo.

  • Marcelo Eiras

    No ENEM ela passa, só tem que configurar para esquerdar.

Aproveite nossos cupons de desconto:

Cupom de desconto Locaweb, Cupom de desconto HP, Cupom de desconto Descomplica, Cupom de desconto Nuuvem, Cupom de desconto CVC, Cupom de desconto Asus, Cupom de desconto World Tennis