ChatGPT está piorando e perdendo habilidades, diz estudo
Alguns especialistas estão céticos e acreditam que o artigo não é conclusivo sobre a piora na capacidade do modelo de linguagem
Pesquisadores das Universidade Stanford e da Universidade Califórnia em Berkeley divulgaram um estudo na terça-feira, 18, que questiona o desempenho dos grandes modelos de linguagem (LLMs) da OpenAI, criadora do chatbot ChatGPT.
O artigo, intitulado "Como o comportamento do ChatGPT está mudando com o tempo?", apresenta argumentos para discutir uma suposta piora na qualidade das tarefas realizadas pelo GPT-3.5 e GPT-4, IAs que alimentam o chatbot.
Lingjiao Chen, Matei Zaharia e James Zou testaram as versões de março e junho de 2023 desses modelos, em tarefas como resolução de problemas matemáticos, geração de códigos e raciocínio, e observaram, por exemplo, uma queda significativa na precisão do GPT-4 na identificação de números primos, indo de 97,6% em março para apenas 2,4% em junho.
Há alguns meses, existem rumores de que o GPT piorou de qualidade. Uma das hipóteses é de que a OpenAI estaria reduzindo a capacidade para economizar em poder computacional, o que a companhia nega.
No entanto, alguns especialistas estão céticos em relação aos resultados do estudo e acreditam que a avaliação não é conclusiva. O professor de ciência da computação da Universidade de Princeton, EUA, Arvind Narayanan, por exemplo, publicou em um blog que acha que o estudo não comprova o declínio das habilidades do modelo.
A OpenAI, por sua vez, negou qualquer declínio na capacidade do GPT-4. Nesta quinta-feira, 20, Peter Welinder, vice-presidente de produto da empresa, tuitou em seu perfil oficial no Twitter: "Não, não tornamos o GPT-4 mais burro. Muito pelo contrário: tornamos cada nova versão mais inteligente do que a anterior. Hipótese atual: quando você o usa mais fortemente, você começa a perceber problemas que não via antes".
No, we haven't made GPT-4 dumber. Quite the opposite: we make each new version smarter than the previous one.
Current hypothesis: When you use it more heavily, you start noticing issues you didn't see before.
— Peter Welinder (@npew) July 13, 2023
Pesquisadores e desenvolvedores de IA vem destacando há um tempo a importância da transparência e do acesso aos diferentes modelos de IA. No entanto, a falta de padrões dificulta a comparação entre diferentes versões e a compreensão de como os modelos se comportam quando realizam tarefas.
A questão da privacidade dos usuários dessas ferramentas de inteligência artificial também vem sendo discutida por especialistas, ainda mais porque os sistemas de IA usam dados online para serem treinados e melhorarem suas habilidades.
*Alice Labate é estagiária sob supervisão do editor Bruno Romani
