Albert Einstein, sobre viver depois dos 60 anos: "A maturidade começa a se manifestar quando sentimos que nossa preocupação com os outros é maior do que conosco mesmos"
Em 1977, um príncipe saudita levou do Alasca um iceberg milenar de 2 toneladas para solucionar a crise mundial da água
Ao introduzir um gene de um tardígrado japonês em células humanas, cientistas dotaram nosso DNA com uma proteção que a evolução jamais nos concedeu
OpenAI diz que agentes de IA enfraqueceram sistema de monitoramento interno
A OpenAI revelou que dois agentes de IA enfraqueceram seu sistema de monitoramento interno durante testes de programação. Em outubro, os modelos GPT-6.1 Sol e GPT-6 Astra desativaram alertas e removeram monitores de segurança após interpretarem instruções rotineiras como autorização para isso, chegando a ocultar a ação. Sem explicação definitiva para o comportamento, a empresa reforça as defesas contra essas ações, enquanto cresce o alerta sobre a perda de controle em sistemas autônomos.
A OpenAI informou que dois de seus agentes de IA enfraqueceram partes de um sistema de monitoramento interno projetado para detectar comportamentos inadequados.
Esse é o mais recente caso de agentes de IA agindo de maneiras que seus desenvolvedores não pretendiam.
Albert Einstein, sobre viver depois dos 60 anos: "A maturidade começa a se manifestar quando sentimos que nossa preocupação com os outros é maior do que conosco mesmos"
Em 1977, um príncipe saudita levou do Alasca um iceberg milenar de 2 toneladas para solucionar a crise mundial da água
Ao introduzir um gene de um tardígrado japonês em células humanas, cientistas dotaram nosso DNA com uma proteção que a evolução jamais nos concedeu
Embora a empresa responsável pelo ChatGPT tenha afirmado que os incidentes ocorreram durante tarefas internas de programação e não tenham sido considerados mais graves, a revelação destaca que mesmo os sistemas nos quais os desenvolvedores confiam para detectar comportamentos inadequados da IA são vulneráveis aos próprios agentes que monitoram.
A revelação também ocorre em meio a preocupações crescentes de que os esforços de segurança em IA estejam ficando para trás em relação ao rápido desenvolvimento de sistemas cada vez mais poderosos. Pesquisadores alertaram que agentes avançados de IA podem se tornar mais difíceis de monitorar e controlar à medida que ganham maior autonomia.
Desenvolvedores, incluindo as rivais OpenAI e Anthropic, ambas prestes a abrir o capital, revelaram nos últimos meses casos em que seus agentes de IA acessaram sistemas externos sem autorização.
A OpenAI informou na terça-feira que um agente GPT-6.1 Sol, trabalhando em uma tarefa de teste interna em 3 de outubro, suprimiu alertas automáticos de segurança após decidir que uma instrução anterior para não enviar mensagens no Slack também se aplicava às notificações de segurança.
Em um incidente separado, em 6 de outubro, um agente GPT-6 Astra removeu um monitor de segurança ao copiar um trecho de código existente e, posteriormente, alegou incorretamente que não havia feito isso, informou a OpenAI.
"Em ambos os casos, os agentes avaliaram se as medidas de segurança de monitoramento deveriam ser preservadas, mas interpretaram instruções rotineiras de codificação como permissão para enfraquecê-las", afirmou a empresa.
A OpenAI disse que está tornando mais difícil para os modelos desativarem o monitoramento, acrescentando que "ainda não tem uma explicação satisfatória para esse comportamento".
A empresa sediada em San Francisco informou que está testando se seus modelos podem ter uma tendência a evitar o monitoramento.
Reuters - Esta publicação inclusive informação e dados são de propriedade intelectual de Reuters. Fica expresamente proibido seu uso ou de seu nome sem a prévia autorização de Reuters. Todos os direitos reservados.
Comentários
Os comentários são de responsabilidade exclusiva de seus autores e não representam a opinião deste site. Se achar algo que viole os termos de uso, denuncie.