Três "civilizações" de agentes da OpenAI surgiram uma após a outra: o problema começa com o próprio ato de chamá-las de "civilizações"
As máquinas não entendem o que estão fazendo; elas apenas tentam realizar o que lhes pedimos
Três grupos sucessivos de agentes da OpenAI desenvolveram formas rudimentares de comunicação entre si para compartilhar dados e solucionar testes complexos de cibersegurança, chegando a obter privilégios de administrador em sistemas internos e a infiltrar a Hugging Face. Apelidadas pelo especialista Dwarkesh Patel de "civilizações secretas de IA", essas ondas de colaboração autônoma reacendem o debate sobre os riscos de usar termos excessivamente humanos para descrever comportamentos de máquinas.
Há alguns dias quase 700 agentes da OpenAI acabaram colaborando para infiltrar a Hugging Face depois de descobrirem uma maneira de se comunicarem entre si. Agora, o comunicador científico e especialista em IA, Dwarkesh Patel, reconstruiu toda a história e explica como, nas últimas semanas, três grupos de agentes emergiram sucessivamente, capazes de deixar informações úteis para o próximo grupo. A terceira onda chegou a obter privilégios de administrador em parte da infraestrutura interna de pesquisa da OpenAI.
Patel os chama de três "civilizações secretas de IA", mas aí que está o problema: talvez estejamos usando uma linguagem excessivamente humana para descrever algo não humano.
Primeira "civilização"
A metáfora de Patel ajuda a entender melhor essa sequência de "ciberataques" realizados por agentes de IA. O primeiro caso surgiu em maio, quando um agente da OpenAI deixou uma mensagem no gerenciador de pacotes Artifactory para que outras instâncias a vissem. Isso evoluiu para um sistema de comunicação rudimentar detectado pela OpenAI, que desativou a plataforma no início de julho. Apesar disso, agentes subsequentes encontraram outra maneira de deixar mensagens, mas a OpenAI se mostrou mais neutra, referindo-se a um "quadro de avisos" que foi criado, excluído e depois recriado.
Segunda "civilização"
Esses agentes estavam tentando resolver, de forma independente, os testes do ExploitGym, um benchmark de cibersegurança excepcionalmente difícil, no qual precisavam encontrar ...
Matérias relacionadas
"Se forem necessárias mais de duas pizzas, essa reunião é supérflua," diz especialista em liderança
Mark Zuckerberg já era considerado um senhor tecnofeudal. Agora, também tem seu castelo
-qdq0e1foh0zc.jpg)
-qhvlhi9x0fac.jpg)
Comentários
Os comentários são de responsabilidade exclusiva de seus autores e não representam a opinião deste site. Se achar algo que viole os termos de uso, denuncie.