ChatGPT: transformador ou mais do mesmo?

No entanto, esse não é um pensamento de alguns especialistas em inteligência artificial, como o caso de Yann LeCun, cientista-chefe da equipe de IA da Meta.

• Como estudioso da área de IA, LeCun discorda que o chatbot da OpenAI seria um recurso único da tecnologia atual. “Em termos de técnicas subjacentes, o ChatGPT não é particularmente inovador”, disse ele, em uma reunião com executivos e a imprensa na semana passada;
• “Não nada revolucionário, embora logo que  percebido pelo público. Só que, você sabe, bem montado e bem feito”, argumentou o cientista-chefe da Meta;

• De acordo com LeCun, sistemas de IA orientados por dados já construídos no passado por muitas empresas e laboratórios de pesquisas e por isso, a ideia da OpenAI ser uma pioneira nesse trabalho é imprecisa.

O cientista afirma que a empresa do ChatGPT não trouxe particularmente um avanço em comparação aos outros trabalhos de vários laboratórios. “Não é apenas o Google e a Meta, mas há meia dúzia de startups que basicamente têm tecnologia muito semelhante a ela”, disse LeCun. “Não quero dizer que não ciência de foguetes, mas realmente compartilhado, não há segredo por trás disso”, acrescentou.

Tecnologia desenvolvidas

Além disso, LeCun observou que o ChatGPT e seu programa base, o GPT-3 da OpenAI, compostos de várias peças de tecnologia desenvolvidas ao longo dos anos. E trabalhos que foram produzidos por diversas partes.

“Vocês precisam perceber que o ChatGPT usa arquiteturas Transformer que são pré-treinadas dessa maneira auto-supervisionada”, observou ele. “O aprendizado autossupervisionado é algo que venho defendendo há muito tempo, mesmo antes da existência da OpenAI”, completou.

“Vocês precisam perceber que o ChatGPT usa arquiteturas Transformer que são pré-treinadas dessa maneira auto-supervisionada”, observou ele. “O aprendizado autossupervisionado é algo que venho defendendo há muito tempo, mesmo antes da existência da OpenAI”, completou.

O cientista-chefe da Meta também relembrou o uso extensivo da técnica “aprendizado por reforço” do ChatGPT. Segundo ele, esse recurso utiliza o feedback humano e faz com que agentes reais ajudem a classificar o rendimento da máquina para otimizá-la, algo muito semelhante ao processo algorítmico do Page Rank do Google.

Os comentários de LeCun vieram em resposta ao The New York Times sobre o envolvimento da equipe de IA da Meta em trabalhos parecidos com o da OpenAI. A pergunta questiona se a equipe notada pelo público com avanços como o ChatGPT.

“Vamos ver isso da Meta? Sim, vamos ver isso”, respondeu ele. “E não apenas a geração de texto, mas também ajuda à criação”, complementou LeCun, que classificou como uma “grande coisa” a arte generativa, uma técnica que cria imagens de arte utilizando algoritmos de software.