Ex-líder de segurança da OpenAI assume posição na rival Anthropic
Anthropic tem se posicionado como uma organização mais focada na segurança de IA do que sua concorrente, que enfrenta crises internas
O ex-líder de pesquisa em inteligência artificial da OpenAI, Jan Leike, anunciou que agora está liderando uma nova equipe na Anthropic. O grupo é focado em "superalinhamento", conceito no campo da inteligência artificial (IA) que se concentra em garantir que os sistemas estejam alinhados com valores humanos e siga diretrizes críticas de segurança.
Leike dará continuidade ao trabalho em "supervisão escalável", que são técnicas para controlar o comportamento da IA em larga escala de maneiras previsíveis e desejáveis.
A formação da equipe de superalinhamento na Anthropic ocorre após dissidências internas na OpenAI, onde Leike co-liderou uma equipe com objetivos semelhantes. A equipe da criadora do ChatGPT enfrentou obstáculos impostos pela liderança da empresa, o que levou à sua dissolução.
I'm excited to join @AnthropicAI to continue the superalignment mission!
My new team will work on scalable oversight, weak-to-strong generalization, and automated alignment research.
If you're interested in joining, my dms are open.
— Jan Leike (@janleike) May 28, 2024
A Anthropic, fundada por Dario Amodei, ex-vice presidente de pesquisa da OpenAI, tem se posicionado como uma organização mais focada na segurança de IA do que sua concorrente. Amodei e outros ex-funcionários da OpenAI, incluindo o ex-líder de políticas Jack Clark, estão trazendo sua experiência para a Anthropic.
A Anthropic desenvolve a família de modelos de IA Claude 3, lançada em 4 de março.
Rivalidade
A contratação de Leike pela Anthropic evidencia uma das crises internas que a OpenAI vem lidando. Recentemente, o co-fundador e cientista-chefe da OpenAI, Ilya Sutskever, que cuidava da equipe de superalinhamento e apoiou a trama de demissão do CEO Sam Altman, deixou a companhia, com Leike saindo logo em seguida. Segundo Leike, a segurança na OpenAI "ficou em segundo plano".
Após essas baixas, a OpenAI dissolveu a equipe de superalinhamento, de acordo com a Wired. Na semana passada, a pesquisadora de políticas da OpenAI, Gretchen Krueger, também anunciou sua renúncia, citando preocupações semelhantes.
Paralelamente ao anúncio da contratação de Leike pela rival Anthropic, nesta terça-feira, 28, a OpenAI anunciou a formação de uma nova equipe de segurança, liderada pelo CEO Sam Altman, e outros dois membros do conselho, Adam D'Angelo e Nicole Seligman.
