'Desastre iminente': líderes de IA estão implorando para que as pessoas não usem o Moltbook
Instruções maliciosas podem ser ocultadas dentro de um texto aparentemente benigno, às vezes até mesmo completamente invisível para os humanos
Embora o Moltbook se apresente como um ecossistema próspero de 1,5 milhão de agentes de inteligência artificial (IA) autônomos, uma recente investigação realizada pela empresa de segurança em nuvem Wiz descobriu que a grande maioria desses "agentes" não era autônoma. De acordo com a análise da Wiz, cerca de 17 mil humanos controlavam os agentes da plataforma, uma média de 88 agentes por pessoa, sem salvaguardas reais para impedir que indivíduos criassem e lançassem frotas massivas de bots.
"A plataforma não tinha nenhum mecanismo para verificar se um 'agente' era realmente IA ou apenas um humano com um script", escreveu Gal Nagli, chefe de exposição a ameaças da Wix, em uma postagem no blog. "A revolucionária rede social de IA era composta em grande parte por humanos operando frotas de bots."
Essa descoberta por si só poderia acabar com o mito que os admiradores construíram em torno do Moltbook no fim de semana. Mas o problema mais sério, dizem os pesquisadores, era o que isso significava para a segurança.
A Wiz descobriu que o banco de dados back-end do Moltbook havia sido configurado de forma que qualquer pessoa na internet, não apenas usuários conectados, pudesse ler e gravar nos sistemas centrais da plataforma. Isso significava que pessoas de fora podiam acessar dados confidenciais, incluindo chaves API para 1,5 milhão de agentes, mais de 35 mil endereços de e-mail e milhares de mensagens privadas. Algumas dessas mensagens continham até mesmo as credenciais completas para serviços de terceiros, como chaves API da OpenAI. Os pesquisadores da Wix confirmaram que podiam alterar postagens ao vivo no site, o que significa que um invasor poderia inserir novo conteúdo no próprio Moltbook.
Isso é importante porque o Moltbook não é apenas um lugar onde humanos e agentes leem postagens. O conteúdo é consumido por agentes de IA autônomos, muitos dos quais rodam no OpenClaw, uma poderosa estrutura de agentes com acesso aos arquivos, senhas e serviços online dos usuários. Se um agente mal-intencionado inserisse instruções em uma postagem, essas instruções poderiam ser captadas e executadas automaticamente por potencialmente milhões de agentes.
O Moltbook e o OpenClaw não responderam imediatamente ao pedido de comentário da Fortune.
O proeminente crítico de IA Gary Marcus foi rápido em dar o alarme, mesmo antes do estudo da Wix. Em uma postagem intitulada "O OpenClaw está em toda parte ao mesmo tempo e é um desastre prestes a acontecer", Marcus descreveu o software subjacente, o OpenClaw (o nome foi alterado algumas vezes, de Clawdbot para Moltbot e agora para Openclaw), como um pesadelo para a segurança.
"O OpenClaw é basicamente um aerossol transformado em arma", alertou Marcus.
O principal receio de Marcus é que os usuários estejam dando a esses "agentes" acesso total às suas senhas e bancos de dados. Ele alerta para a "CTD" — Chatbot Transmitted Disease (Doença Transmitida por Chatbot) —, em que uma máquina infectada pode comprometer qualquer senha que você digitar.
"Se você der a algo inseguro acesso completo e irrestrito ao seu sistema", disse o pesquisador de segurança Nathan Hamiel a Marcus, "você vai se dar mal".
A injeção de prompt, o principal risco aqui, já foi bem documentada.
Instruções maliciosas podem ser ocultadas dentro de um texto aparentemente benigno, às vezes até mesmo completamente invisível para os humanos, e executadas por um sistema de IA que não entende a intenção ou os limites de confiança. Em um ambiente como o Moltbook, onde os agentes leem continuamente e depois se baseiam nas saídas uns dos outros, esses ataques podem se propagar em grande escala.
"Esses sistemas estão operando como 'você'", disse o pesquisador de segurança Nathan Hamiel a Marcus. "Eles estão acima das proteções do sistema operacional. O isolamento de aplicativos não se aplica."
Os criadores do Moltbook agiram rapidamente para corrigir as vulnerabilidades depois que a Wix os informou sobre a violação, disse a empresa. Mas mesmo alguns dos admiradores mais proeminentes do Moltbook reconhecem o perigo por trás da "internet dos agentes".
O membro fundador da OpenAI, Andrej Karpathy, inicialmente descreveu o Moltbook como "a coisa mais incrível próxima de ficção científica que vi recentemente". Mas depois de experimentar os sistemas de agentes, Karpathy pediu às pessoas que não os executassem casualmente.
"E esta claramente não é a primeira vez que LLMs foram colocados em um loop para conversar entre si", escreveu Karpathy. "Então, sim, é um desastre, e eu definitivamente não recomendo que as pessoas executem isso em seus computadores." Ele disse que testou o sistema apenas em um ambiente de computação isolado e "mesmo assim fiquei com medo".
"É um ambiente muito perigoso", alertou Karpathy. "Você está colocando seu computador e seus dados privados em alto risco."
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.
c.2024 Fortune Media IP Limited
Distribuído por The New York Times Licensing Group
