O GPT-5 tem um problema: gastaram muito dinheiro treinando-o e mesmo assim não é muito melhor que o GPT-4
A chegada do próximo grande LLM da OpenAI está sendo problemática O salto em desempenho não está sendo o esperado e o custo de desenvolvimento é alto Os grandes trunfos da OpenAI são seus novos modelos o1 e o3
A recente enxurrada de anúncios da OpenAI demonstra o ritmo frenético em que a companhia está trabalhando. A empresa revelou grandes novidades sobre o Sora, o ChatGPT Search, o ChatGPT no WhatsApp, a disponibilidade massiva do o1 e o recém-lançado o3 como grandes protagonistas. Tudo parece estar indo às mil maravilhas para a empresa dirigida por Sam Altman, mas há algo que provavelmente está tirando seu sono: o GPT-5.
GPT-5 e Orion
A empresa vem trabalhando há meses em seu próximo grande modelo de linguagem, com o codinome Orion, mas que, teoricamente, será o GPT-5. Espera-se que o salto em desempenho em relação ao GPT-4 seja significativamente maior do que o que vimos do GPT-4 para o GPT-4o, mas aí é que está o problema. Por enquanto, isso não está acontecendo.
Como aponta o The Wall Street Journal, esse projeto não para de sofrer atrasos — por exemplo, a Microsoft esperava ter acesso a ele em meados de 2024. Há algo ainda pior: seu desenvolvimento está gerando um custo colossal que não para de crescer. Estima-se que cada rodada de treinamento dure cerca de seis meses e custe US$ 500 milhões. Segundo o jornal, Altman já indicou no passado que o treinamento do GPT-4 custou mais de US$ 100 milhões.
Treinamentos que não chegam a dar certo
O Orion foi treinado com enormes quantidades de dados não apenas uma, mas duas vezes. Apesar disso, os problemas não pararam de surgir: no segundo ciclo de treinamento, os engenheiros perceberam que o conjunto de dados não era tão diverso ...
Matérias relacionadas
Criaram um aplicativo para instalar jogos Epic Games ou GOG no Steam, mas a Valve o removeu