Big Data Week São Paulo

Um ótimo blog sobre Big Data Analytics com artigos, ebooks e vídeos abordando as aplicações de Big Data Analytics no Brasil e no mundo.
11
Aug

GPT-3 é incrível – mas cercado de hype

A internet tem murmurado sobre o GPT-3, a mais nova IA de linguagem da OpenAI. 
O GPT-3 é o modelo de linguagem mais poderoso já desenvolvido. Isso se deve principalmente ao seu tamanho: com surpreendentes 175 bilhões de parâmetros. Pra colocar essa figura em perspectiva, seu modelo predecessor, o GPT-2 – que era considerado o estado da arte, e impressionantemente massivo, ao ser lançado no ano passado – tinha 1,5 bilhões de parâmetros. 
Depois de publicar originalmente sua pesquisa GPT-3 em maio, a OpenAI deu acesso ao modelo para um público selecionado, na semana passada, via API. Nos últimos dias, exemplos de texto gerados por ele passaram a circular nas mídias sociais.  
A as capacidades de linguagem do GPT-3 são de tirar o fôlego. Quando propriamente instruído por um humano, pode criar histórias de ficção, gerar códigos funcionais, redigir memorandos de negócios atenciosos, e muito mais. É possível que os casos de utilização sejam limitados apenas pela nossa imaginação.  
Por enquanto há muita confusão e exagero sendo difundidos a respeito da natureza e dos limites das capacidades do GPT-3. É importante que a comunidade científica e da tecnologia tenha uma visão mais clara do que o programa pode ou não fazer.  
Basicamente o GPT-3 é um sofisticado preditor de texto. Uma pessoa dá a ele um pedaço de texto como input, e o modelo gera sua melhor sugestão de como seria o próximo trecho do texto. Ele pode então repetir esse processo – unindo o input original com o gerado, e usando essa união como novo input para gerar o trecho seguinte – até atingir um determinado limite.  
Como o GPT-3 faz para gerar essas predições? Bom, ele efetivamente devorou todos os textos disponíveis na internet. O output gerado é uma linguagem estatisticamente plausível como continuidade do input dado, baseado em tudo o que os humanos publicaram online previamente.  
Nuances incrivelmente ricos podem ser extraídos de padrões latentes em massivos conjuntos de dados, muito além do que a mente humana seria capaz de identificar. Essa é a premissa básica do machine learning moderno. Treinado com um banco de dados de meio trilhão de palavras, o GPT-3 é capaz de identificar e mixar os padrões linguísticos nele contidos. 
Porém a IA não tem uma representação interna do significado real dessas palavras. Ele não é baseado em nenhum modelo semântico dos tópicos sobre os quais discorre, ou seja, não se pode dizer que tenha alguma compreensão dos inputs dados ou dos outputs gerados. 
Por que isso importa? Porque quer dizer que o GPT-3 não tem habilidade de fazer abstrações racionais, ele não tem bom senso. Quando confrontado com conceitos, conteúdo ou mesmo frases que não estejam nos corpos de texto da internet com os quais ele foi preparado, ele se perde.  
É bem fácil fazer perguntas simples com que ele não seja capaz de lidar de forma inteligente. Como exemplo, considere o seguinte diálogo com a IA, cortesia de Kevin Lacker:  
 
Humano: Quantos olhos tem uma girafa? 
GPT-3: Uma girafa tem dois olhos. 
Humano: Quantos olhos tem meu pé?  
GPT-3: Seu pé tem dois olhos. 
Humano: Quantos olhos tem uma aranha?  
GPT-3: Uma aranha tem oito olhos. 
Humano: Quantos olhos tem o sol?  
GPT-3: O sol tem um olho.  
Humano: Quantos olhos tem uma folha de grama?  
GPT-3: Uma folha de grama tem um olho.  
 
Isso não quer dizer que o GPT-3 não seja uma ferramenta útil ou que não terá aplicações valiosas. Entretanto, significa que ele não é confiável e é suscetível a erros básicos que nunca seriam cometidos por um ser humano normal.  
Essa deficiência é pelo fato de o modelo gerar seu output palavra por palavra, baseado no texto imediatamente próximo. A consequência é que ele pode ter dificuldades em manter uma narrativa coerente ou entregar uma mensagem que faça sentido além de poucos parágrafos. Diferentemente de humanos, que têm um modelo mental persistente – um ponto de vista que perdura por momentos, dias  – o GPT-3 tem amnésia, frequentemente caindo em confusão após algumas sentenças. 
Como os próprios pesquisadores da OpenaAI reconheceram: “O GPT-3 pode perder a coerência em sentenças suficientemente longas, se contradizer e, ocasionalmente gerar sentenças ou parágrafos não sequenciais.” 
De maneira simplificada, o modelo carece de um senso de significado e propósito abrangente a longo prazo, o que vai limitar sua habilidade de gerar outputs úteis em muitos contextos.  
Não há dúvidas que o GPT-3 seja uma realização técnica impressionante. Ele tem melhorado significativamente o estado da arte em processamento de linguagem natural. Tem uma engenhosa habilidade de gerar linguagem em todos os tipos de estilos, o que vai permitir aplicações interessantes para empreendedores e criadores.  
Por hora é importante uma visão realística das limitações do GPT-3 para aprimorar seu modelo. Ele é fundamentalmente uma ferramenta correlativa, não pode raciocinar, não entende a linguagem que gera. Afirmações de que ele é senciente, ou que representa uma “inteligência geral” são exageros tolos que obscurecem o discurso público a respeito da tecnologia. 
Em uma boa dose de realismo, o CEO da OpenAI, Sam Altman, fez o mesmo comentário mais cedo no Twitter: “O exagero sobre o GPT-3 é demasiado… IA está mudando o mundo, mas o GPT-3 é apenas uma pequena fagulha.”  

Sobre o artigo

Este artigo é uma tradução livre do original GPT-3 is Amazing–And Overhyped

Leave a Reply