O "CriticGPT" é a nova inteligência artificial apresentada pela OpenAI para identificar falhas no código gerado pelo ChatGPT, ferramenta também da OpenAI.
A empresa afirma que o modelo, baseado no GPT-4, escreve críticas às respostas do ChatGPT para ajudar treinadores humanos a identificar erros por meio de um sistema conhecido como Reinforcement Learning from Human Feedback (RLHF).
A tecnologia avalia as respostas do ChatGPT com base em comparações feitas por treinadores de IA.
"Descobrimos que quando as pessoas recebem ajuda do CriticGPT para revisar o código do ChatGPT, elas superam aquelas sem ajuda 60% das vezes. Estamos começando o trabalho para integrar modelos semelhantes ao CriticGPT em nosso pipeline de rotulagem RLHF, fornecendo aos nossos treinadores assistência explícita de IA", disse a OpenAI em comunicado.
"Este é um passo para poder avaliar saídas de sistemas avançados de IA que podem ser difíceis para as pessoas classificarem sem ferramentas melhores", incluiu.
Segundo a OpenAI, as sugestões do CriticGPT nem sempre estão corretas, mas elas podem ajudar os instrutores a detectar muito mais problemas com respostas escritas por modelos do que sem a ajuda da IA.
"Além disso, quando as pessoas usam o CriticGPT, a IA aumenta suas habilidades, resultando em críticas mais abrangentes do que quando as pessoas trabalham sozinhas, e menos bugs alucinados do que quando o modelo trabalha sozinho".
