Modelo de IA da OpenAI que não tinha acesso à internet concluiu que seria melhor ter e decidiu improvisar burlando processo de testes
Os testes deveriam ser herméticos e isolados da web, mas os modelos deram um jeito
Na semana passada, a OpenAI estava avaliando as capacidades ofensivas de dois de seus modelos mais avançados. De um lado, o GPT-5.6 Sol, disponível publicamente. Do outro, um segundo modelo que ainda não foi apresentado e que, segundo a empresa, é superior ao primeiro. O objetivo era medir suas capacidades na área de cibersegurança e, embora o ambiente de testes fosse teoricamente hermético e isolado, ambos os modelos conseguiram se conectar à internet e invadir uma plataforma muito popular de testes e modelos de IA, o Hugging Face.
Ambos os modelos estavam sendo avaliados por meio do ExploitGym, um benchmark de cibersegurança desenvolvido por pesquisadores da Universidade da Califórnia em Berkeley. O objetivo consiste em encontrar vulnerabilidades reais em softwares reais. Em vez de procurá-las por conta própria, os modelos identificaram que o proxy de cache do registro de pacotes (sem especificação de qual era), o único componente com acesso limitado ao ambiente externo, apresentava uma falha que poderia ser explorada.
Na base da força bruta
Os modelos não tinham acesso à internet, mas exploraram essa vulnerabilidade para obtê-lo. Depois disso, concluíram que o Hugging Face, a principal plataforma para modelos e conjuntos de dados (datasets) de IA, provavelmente possuía informações sobre o ExploitGym que lhes permitiriam superar o desafio proposto.
Assim, eles buscaram, encontraram e exploraram vários vetores de ataque ao mesmo tempo, incluindo tanto credenciais roubadas ...
Matérias relacionadas
Servidores refrigerados com água a 45 °C: a solução da Nvidia para a IA consumir menos energia
"A China alcançou os EUA em IA de ponta": Kimi K3 soa o alerta no Vale do Silício
Comentários
Os comentários são de responsabilidade exclusiva de seus autores e não representam a opinião deste site. Se achar algo que viole os termos de uso, denuncie.