OpenAI encerra equipe de segurança após saída de co-fundador
A equipe de superalinhamento, formada há menos de um ano, tinha a missão de garantir que futuras inteligências artificiais superqualificadas fossem seguras e benéficas
A OpenAI dissolveu sua equipe dedicada ao "superalinhamento" de IA, após a saída dos líderes Ilya Sutskever e Jan Leike na última semana. Esta decisão foi tomada em um momento crítico para a empresa, enquanto enfrenta desafios de segurança e reorganização interna.
A equipe de superalinhamento, formada há menos de um ano sob a liderança de Sutskever e Leike, tinha a missão de garantir que futuras inteligências artificiais superqualificadas fossem seguras e benéficas. No entanto, a OpenAI optou por integrar esses esforços em outras áreas da empresa. Segundo um comunicado à Bloomberg News, a decisão visa reforçar a segurança da IA em todas as suas operações.
A saída de Sutskever, cofundador e cientista-chefe da OpenAI, foi motivada por desentendimentos com o CEO, Sam Altman, sobre a velocidade do desenvolvimento da IA. Leike seguiu o mesmo caminho, alegando dificuldades em obter recursos e priorizar a segurança na pesquisa. Em uma postagem no X, Leike destacou que sua equipe estava "navegando contra o vento" e enfrentando desafios crescentes para realizar a pesquisa crucial de alinhamento de IA.
Over the past few months my team has been sailing against the wind. Sometimes we were struggling for compute and it was getting harder and harder to get this crucial research done.
— Jan Leike (@janleike) May 17, 2024
Reações e Medidas da OpenAI
Além disso, o encerramento da equipe reacendeu debates sobre o equilíbrio entre inovação rápida e segurança na OpenAI. Outros membros da equipe, como Leopold Aschenbrenner e Pavel Izmailov, também deixaram a empresa recentemente. Izmailov foi afastado antes de sua saída, enquanto Aschenbrenner não respondeu aos pedidos de comentário.
Em resposta às críticas de Leike, Altman admitiu no X que há "muito mais a fazer" e reafirmou o compromisso da OpenAI com a segurança. A empresa nomeou John Schulman como novo líder científico do trabalho de alinhamento e Jakub Pachocki como o novo cientista-chefe, substituindo Sutskever.
i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.
— Sam Altman (@sama) May 17, 2024
Entretanto, a OpenAI continua a investir em segurança de IA através de diversas equipes e iniciativas, incluindo uma equipe de preparação lançada em outubro passado para mitigar riscos catastróficos dos sistemas. Em novembro, a empresa enfrentou uma crise interna significativa quando Sutskever e outros membros do conselho decidiram demitir Altman, gerando uma revolta que quase levou à demissão em massa dos funcionários. O CEO foi reintegrado após Sutskever expressar arrependimento pela decisão.
No comunicado de sua saída, Sutskever expressou confiança de que a OpenAI continuará desenvolvendo uma AGI segura e benéfica sob a atual liderança. A AGI, ou inteligência artificial geral, refere-se a sistemas de IA que podem realizar tarefas tão bem ou melhor que os humanos, um objetivo ainda distante, mas central na missão da OpenAI.
After almost a decade, I have made the decision to leave OpenAI. The company's trajectory has been nothing short of miraculous, and I'm confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…
— Ilya Sutskever (@ilyasut) May 14, 2024
Todavia, a reorganização na OpenAI destaca os desafios em equilibrar inovação e segurança no desenvolvimento de tecnologias avançadas de IA, refletindo as tensões internas e a necessidade de um enfoque robusto na segurança desses sistemas.
*texto sob supervisão de Tomaz Belluomini
-1h7gd4b36i14k.png)
-qdybeatxkpk2.png)
