Como os computadores aprenderam a falar!

ChatGPT, não há dúvida, passaria no teste de Turing, em homenagem a seu inventor, Alan Turing. O brilhante matemático britânico, que antecipou o advento das futuras máquinas “pensantes” em 1950, imaginou este teste engraçado: se um humano conversar com um programa de computador sem perceber que é uma máquina, então ela passou no exame com sucesso. Mas a ambição deste pioneiro estava a anos-luz dos meios tecnológicos da época: um computador era então maior que um frigorífico e tinha capacidades de armazenamento e velocidade quase nulas. Essa colocação à prova das máquinas, há tanto tempo malucas, encontra hoje uma atualidade marcante.

Quanto tempo levaria para um ser humano, de fato, desmascarar a verdadeira identidade do ChatGPT, o agente de conversação virtual que deixou o mundo todo em pânico desde seu lançamento em novembro passado? Pergunte a ele, digitando no teclado, uma receita culinária, um diagnóstico médico, linhas de código, um diálogo imaginário ou uma paródia de discurso político, e ele lhe dará uma resposta sob medida na velocidade da luz. Na maioria das vezes sensato e bem escrito, embora repleto de erros mais ou menos discretos. Durante o lançamento de sua última versão, em março, os testadores garantiram que essa ferramenta tecnológica conquistaria muito bem seu bacharelado com uma menção confortável.

Ao contrário das fantasias sobre um dispositivo “mágico” ou “inteligente”, o ChatGPT é baseado em um modelo de linguagem (GPT-4, atualmente) treinado, graças a bilhões de dados, para prever a próxima palavra de um texto. Falamos de inteligência artificial (IA) “generativa” , porque ela é capaz, a partir dessa massa de dados, de criar conteúdos originais (textos, imagens, vídeos). Esse tipo de IA é o mais recente de uma história que remonta a mais de setenta anos. O processamento automático de linguagem (TAL) – na encruzilhada da lingüística, ciência da computação, matemática e inteligência artificial – permite que os computadores reconheçam e gerem fala, seja escrita ou falada.

No início era um projeto tão estratégico quanto ambicioso: o de traduzir automaticamente, em série, trabalhos científicos e técnicos do russo para o inglês. Estamos em plena Guerra Fria, e os americanos não desejam ficar para trás dos soviéticos no campo da ciência: devem, portanto, ler, em inglês, a literatura especializada produzida na URSS. Em 1954, a primeira demonstração de tradução automática organizada pela Universidade de Georgetown em um computador IBM despertou entusiasmo. No entanto, o programa utiliza apenas seis regras gramaticais, com um dicionário de 250 palavras.

“O exército americano e a CIA investiram financeiramente na tradução automática, antes que os ingleses, os russos, os franceses o fizessem por sua vez, diz Jacqueline Léon, diretora emérita de pesquisa do CNRS. A decepção valeu o esforço. Em 1966, o Advisory Committee on Automatic Language Processing (Alpac), nos Estados Unidos, travou seriamente o financiamento. Após doze anos de pesquisa e 20 milhões de dólares, os resultados são claros: a tradução automática custa cerca de duas vezes mais que a tradução manual, com resultados muito piores.

O filósofo e lógico israelense Yehoshua Bar-Hillel já havia feito a mesma observação seis anos antes. Sem “conhecimento do senso comum ”, escreveu ele em um famoso relatório, um computador não pode usar o contexto para escolher a tradução certa.

As máquinas, no entanto, estavam longe de ter dito sua última palavra. No exato momento em que o relatório Alpac aparece, o ancestral mais famoso do ChatGPT acaba de ser inventado. Projetado em 1966 por um pesquisador do Instituto de Tecnologia da Universidade Americana de Massachusetts (MIT), esse programa de computador é chamado de Eliza. O primeiro nome de uma mulher para uma antropomorfização assumida. Porque Eliza imita um psicanalista conversando com seu paciente por meio de uma máquina de escrever. Não sem ironia, Weizenbaum programa seu “psiquiatra virtual” para que ele se contente em reformular sentenças recebidas; o testador escreve: “Não gosto da minha mãe” , Eliza responde: “Por que você não gosta da sua mãe? Tudo polvilhado com alguns módulos genéricos para torná-lo mais realista:“Eu te escuto” , “Eu te entendo” , etc.

Cubo, cones, relatórios do mercado de ações e partidas de futebol

“O processo pode ter sido rudimentar, as pessoas ficaram maravilhadas”, lembra Justine Cassell, pesquisadora da Carnegie Mellon University em Pittsburgh, nos Estados Unidos, mas também membro na França do National Digital Council e diretora de pesquisa do ‘Inria. “A secretária de Weizenbaum, que sabia muito bem que se tratava de uma máquina, pediu à informática que saísse da sala para ela ‘conversar’ a sós com a Eliza! Eliza é, portanto, a primeira candidata séria ao teste de Turing, doze anos após a morte de seu inventor. Foi um bom começo, mas o ChatGPT ainda estava muito longe.

         – Joseph Weizenbaum com sua criação, Eliza, em 1966. Esse computador imitou, pela máquina de escrever interposta, as respostas de uma psicanalista a seu paciente. / DiE ZEiT, Hamburgo/DR –

A “inteligência artificial” estava então dando seus primeiros passos. O surgimento dessa estranha expressão remonta ao verão de 1956, durante a conferência de Dartmouth (Estados Unidos). Para seus principais proponentes, Marvin Minsky e John McCarthy, qualquer aspecto da inteligência humana poderia ser descrito com precisão suficiente para ser simulado por uma máquina. E entre essas habilidades estava, é claro, a linguagem.

Dois ramos da IA ​​logo se distinguiram. A primeira, a de Minsky e consortes, chamada de “conexionista”, é baseada em redes neurais artificiais, modeladas desde a década de 1940, inspirando-se em seus equivalentes biológicos. Permitem identificar regularidades estatísticas a partir de dados que servem de exemplo, sem a necessidade de formular regras explícitas. O segundo ramo, chamado de “simbólico”, imita o raciocínio humano aplicando regras lógicas para realizar uma determinada tarefa. É necessária uma engenharia cuidadosa. Há muito tempo falamos de “sistemas especialistas”.

O primeiro ramo conexionista parecia ter um bom começo, mas um fracasso histórico o eclipsou até o final do século. Essa falha é chamada de Perceptron, do nome de uma máquina inventada em 1957. Já capaz de distinguir entre a direita e a esquerda, deveria “saber ler e escrever” no ano seguinte, segundo seu inventor Frank Rosenblatt. Mas tais façanhas já eram esperadas há muito tempo e, dez anos depois, um livro mostrou que assim concebido, o Perceptron poderia resolver apenas problemas “simples” . Demorou até a década de 1990 para a IA conexionista emergir novamente. Enquanto isso, os pesquisadores começaram a usar várias camadas de neurônios para aumentar a complexidade. Este modelo só vai saborear verdadeiramente a sua vitória em 2012…

Ao mesmo tempo, a IA simbólica continuou a ser desenvolvida. De acordo com Eliza, a falsa psicanalista, logo surgiram programas capazes de reconhecer ou gerar a fala. Seguiram regras determinísticas transpostas para o código informático, num campo semântico ainda muito limitado. Um software com o doce nome de SHRDLU (1972), por exemplo, movia cubos vermelhos ou cones verdes virtuais de acordo com instruções escritas pelo usuário. Ana (1983) poderia gerar relatórios de mercado de ações em inglês. Futebol (1987), resumos de partidas de futebol em alemão. Em sua maior parte confinados ao mundo da pesquisa, esses sistemas de diáloho homem-máquina, como eram então chamados, ainda estavam longe de serem mainstream.

Diga Sir…

“Um dos primeiros a ser utilizado por milhares de pessoas foi o sistema Let’s go, em 2005, que fornecia os horários dos ônibus da região de Pittsburgh por telefone”, diz a pesquisadora americana Justine Cassell . Vamos integrar um sistema de reconhecimento de voz. Ao mesmo tempo, na França, François Yvon trabalhava no mesmo tipo de tecnologia no laboratório de TI da Telecom Paris. Além de comunicar horários de transporte, o reconhecimento de voz pode ser usado para reservar quartos de hotel. “Mas nunca foi além do estágio de protótipo: muito incerto”, especifica aquele que agora é pesquisador do LISN / CNRS em Orsay, também especialista em tradução automática. Entre os ruídos de fundo, as diferenças de voz de uma pessoa para outra e no microfone dependendo do modelo do telefone, muitos elementos vieram para borrar a mensagem.

Em 2011, o reconhecimento de voz entrou em cena com o Siri, o assistente de voz da Apple com o qual você fala em voz alta como um amigo (ou um, dependendo do país onde você está): ” Say, Siri…” A empresa Apple foi seguida em 2014 pela Microsoft (que desenvolveu a Cortana) e Amazon (Alexa), depois pelo Google (o Assistente) em 2016. Esta foi a primeira era de ouro dos “chatbots” (agentes de conversação). Em março de 2016, o chefe da Microsoft, Satya Nadella, comparou essa revolução às anteriores do navegador da web e da tela sensível ao toque.

Tecnicamente, é claro que as coisas evoluíram dos blocos verdes e vermelhos de SHRDLU. “A partir da década de 1990, a tecnologia deu um salto: as capacidades de armazenamento e a velocidade dos computadores foram multiplicadas e o software experimentou um boom sem precedentes”, lembra Jacqueline Léon . “Poderíamos armazenar corpos cada vez maiores de textos”, ela continua. Isso permitiu o ressurgimento de métodos probabilísticos, que até então não podiam ser utilizados por falta de capacidade técnica. Entre 1990 e 2010, sistemas especialistas seguindo regras determinísticas começaram a integrar elementos de aprendizagem automática – as famosas redes neurais da IA ​​conexionista – baseadas em probabilidades.

Em 2012, terremoto no planeta IA. Meio século após o fracasso do Perceptron, a IA conexionista e suas redes neurais estão triunfando, sob o nome mais popular de aprendizado profundo . Em um concurso de reconhecimento de imagem, o ImageNet, um modelo de aprendizado, supera todos os sistemas especialistas. Em poucos meses, o mundo inteiro se apaixonou por esse método diabolicamente eficaz, embora muito ganancioso em dados e poder de computação. Todo o processamento automático de linguagem será, portanto, feito em uma base probabilística. A IA simbólica realmente perdeu o jogo.

As palavras ? Matemática!

Claramente, um modelo de linguagem neural adota uma abordagem matemática para a linguagem: ele divide as palavras em vetores digitais (sequências de números) que então manipula. Durante a sua fase de aprendizagem, alimenta-se de imensos corpora linguísticos nos quais regista as regularidades mais salientes. Então, ao final de um complexo processo de imitação, ele é capaz de gerar uma continuação crível de um determinado texto. A tradução automática, que agora depende de textos já traduzidos para gerar novos, está começando a dar saltos gigantescos. “Antes do aprendizado profundo , avançamos cerca de um ponto por ano em uma determinada escala de qualidade; depois de 2014, ganhamos oito pontos em dois anos ”, lembra François Yvon.

Em 2017, novo choque. Pesquisadores do Google publicam um importante artigo sobre o Transformer, uma arquitetura de rede neural que servirá de base para o ChatGPT cinco anos – e alguns bilhões de dólares – depois. “Funciona tão bem que temos a ilusão de que a máquina raciocina, mas não tem acesso ao significado” , sublinha Alexei Grinbaum, físico e filósofo, autor nesta primavera de Words of Machines (HumenScience, 192 p., €17,90) . “Além disso, o que ela faz com todos esses números está muito além da compreensão humana. O homem, portanto, não tem controle sobre isso, ao contrário dos antigos sistemas especialistas, cujo campo era muito mais limitado. »

Chatbots e pessoas

Esses chatbots podem começar a dizer enormidades, até mesmo horrores. Tay, lançado pela Microsoft em 2016, rapidamente se transformou em calúnias racistas e misóginas; tinha sido desconectado depois de um dia. Daí a necessidade de sistemas robustos de controle e filtragem.

Esta é sem dúvida a verdadeira revolução do ChatGPT. A OpenAI, startup californiana que lançou o agente conversacional em 2022, inventou uma arquitetura de filtragem particularmente eficiente, que combina técnicas de aprendizado por reforço (sem moderador humano) e aprendizado supervisionado (a partir de exemplos anotados por humanos). Os trabalhadores precários são, assim, responsáveis ​​por “rotular” milhares de páginas de textos violentos ou sexuais para evitar que sejam encontrados nas respostas do chatbot. No entanto, ainda é possível contornar esses filtros adaptando o texto de entrada (chamado “prompt” ).

Seguindo os passos da Microsoft, parceira privilegiada da OpenAI desde 2019, o Google, o chinês Baidu e o Alibaba, depois a Meta (empresa controladora do Facebook e do Instagram), por sua vez, embarcaram na corrida pela IA “generativa” nas últimas semanas. Uma sobreavaliação simultaneamente técnica e financeira, cujos efeitos a médio prazo ainda são difíceis de avaliar.

————————–