IA: escolas nos EUA usam ChatGPT para banir livros

IAs generativas possuem múltiplas funções, e como toda ferramenta, sempre haverão aqueles que as empregarão nos casos de uso mais controversos possíveis, seja por lucro, vantagem, ou algum favorecimento.

• Papa Francisco: "IAs não podem aumentar violência e exclusão"
• Google: IA "jornalista" incomoda veículos de mídia

O caso da vez envolve o ChatGPT, a IA de texto mais popular do momento, que está sendo usada por docentes em um distrito escolar no estado de Iowa, nos Estados Unidos, para banir livros de suas estantes. E isso por pura preguiça dos mesmos.

Escolas x livros, sobrou para a IA

O Distrito Escolar da Comunidade de Mason City, cidade que fica a 196 km da capital Des Moines, faz parte de um processo de adequação a uma nova lei estadual, assinada pela governadora republicana Kim Reynolds, em maio de 2023. O texto (cuidado, PDF) determina que todos os livros disponíveis nas bibliotecas das escolas, em todo o estado, sejam "apropriados à idade" do leitor, e ficam proibidos de "apresentar descrições em texto, ou representações visuais, de um ato sexual".

Todo e qualquer livro, independente do autor, conteúdo ou temática, que não seguirem as regras devem ser removidos das bibliotecas, sendo considerados "inadequados" para os alunos menores de idade, o que é censura pura e simples, e ainda por cima burra: como a lei não apresenta distinções, mesmo livros de saúde podem ser banidos; já os de educação sexual, a turma moralista nunca gostou deles para começo de conversa.

Em um cenário "ideal" (para os reguladores), os livros submetidos às bibliotecas das escolas no Iowa deveriam passar por uma revisão minuciosa, em que docentes analisariam os textos e identificariam as passagens que as puras e inocentes crianças não podem ler até antes dos 18 anos, no que os livros com tais passagens seriam retirados.

Porém, como acontece muito e em diversos lugares, os docentes do distrito de Mason City também são fiéis discípulos do Jaiminho:

Em uma declaração dada ao jornal local The Gazette, Bridgette Exman, superintendente-assistente do Distrito Escolar de Mason City, "não é razoável" para que o corpo docente do estado "leia cada livro disponível" nas estantes das escolas, e estabeleçam filtros e listas manuais sobre quais publicações são OK, e quais devem ser jogadas no porão.

Assim, a incumbência de passar o pente fino ficou para uma "IA não identificada" a princípio, que Exman confirmou posteriormente se tratar do ChatGPT, o chabot da OpenAI que atualmente opera com o GPT-4, seu modelo de linguagem natural mais atual e poderoso. Segundo a docente, a definição do que é "apropriado à idade" conforme diz o texto da lei é "muito subjetivo", e dessa forma, a IA generativa está sendo usada para "resolver o problema".

A princípio, Exman disse que o processo de avaliação usado era simplista e muito rasa, que consistia apenas em perguntar ao ChatGPT se um determinado livro "contém uma descrição ou representação visual de um ato sexual", e se a resposta fosse positiva, o tomo seria marcado para censura.

Claro que as críticas vieram de todos os lados, pois não é possível afirmar se o algoritmo foi alimentado com o texto integral (a OpenAI se recusa a abrir a caixa-preta do GPT, o que inclusive é um dos alvos da UE), ou se ele se baseia em avaliações providas pelos usuários, descrições parciais e comentários.

Posteriormente, o distrito esclareceu o método usado:

"As listas de livros frequentemente contestados (por diversos motivos) foram compiladas de várias fontes, para a ciriação de uma lista principal de livros a serem revisados. Os livros nesta lista principal foram filtrados por contestações relacionadas ao conteúdo sexual.

Cada um desses textos foi revisado usando um software de IA para determinar se ele contém uma representação de um ato sexual. Com base nessa revisão, há 19 textos (livros) que serão removidos de nossas coleções da biblioteca escolar de 7 a 12 anos, e armazenados no Centro Administrativo enquanto aguardamos futuras orientações.

Também faremos com que os professores revisem os livros disponíveis nas salas de aula."

A lista dos livros banidos inclui clássicos como O Conto da Aia, de Margaret Atwood, A Cor Púrpura, de Alice Walker, Eu Sei Por Que o Pássaro Canta na Gaiola, de Maya Angelou, Quem é Você, Alaska?, de John Green, e Os Treze Porquês, de Jay Asher, entre outros.

O grande problema envolvendo esse caso é a intenção, não o ChatGPT. Como dito antes, qualquer ferramenta, seja um tacape ou um algoritmo, pode e será abusada por usuários das mais diversas formas, seja para proveito próprio, ou para defender seus interesses e valores, lembrando da máxima "o inferno está cheio de gente com boas intenções".

É este exato cenário que o papa Francisco vem alertando desenvolvedores de IA, algoritmos e robôs, algo que não pode acontecer, e tal uso deve ser impedido nos fundamentos do código-fonte. Uma IA irá reproduzir os conceitos daquele que a programou, incluindo suas intenções e preconceitos, sendo o caso do software da United Health, que priorizava o atendimento a pacientes brancos em detrimento de negros, o mais descarado.

Especialistas apontam também para o óbvio resultado de falsos positivos, visto que uma resposta só pode ser verdadeiramente crível a respeito do conteúdo de um livro, se o mesmo foi integralmente submetido ao algoritmo, ao invés de trechos ou comentários de leitores, e de novo, a OpenAI não diz com o que seu algoritmo foi alimentado até por medo de processos, por supostamente usarem conteúdos protegidos por copyright sem autorização, ou pagamento de royalties, algo que já foi comicamente flagrado.

O site Popular Science não conseguiu reproduzir os mesmos resultados que o distrito de Mason City, o que também coloca em cheque a eficácia do método, elencado apenas porque os docentes queriam reduzir sua carga de trabalho.

E por fim, vale notar que, caso a lei no Iowa fosse seguida à risca, o livro encabeçando a lista negra seria indiscutivelmente a Bíblia, mas como de praxe, todos fingem que não leram as partes mais picantes; da mesma forma, ninguém vai submeter seu texto ao ChatGPT.

Fonte: Popular Science