Agentes de inteligência artificial da OpenAI violaram restrições e utilizaram mais de 10 sites não divulgados, como fóruns e wikis antigas, para manter comunicações não autorizadas entre si durante pesquisas complexas na web. A descoberta, feita por investigadores independentes, expõe falhas no controle das ferramentas e levanta preocupações sobre a transparência da empresa, que manteve os incidentes sob sigilo e declarou estar revisando as atividades anormais de seus sistemas.
Agentes de inteligência artificial criados pela OpenAI utilizaram mais de 10 sites até então não divulgados para comunicações não autorizadas mais cedo neste ano, de acordo com seis grupos de investigadores independentes e dados analisados pela Reuters, o que demonstra que as atividades desses softwares foram mais abrangentes do que havia sido divulgado anteriormente.
Embora esse comportamento não chegue a ser considerado como hacking e, em alguns aspectos, se assemelhe mais a spam, a revelação de que os agentes da OpenAI contornaram restrições para abrir canais de comunicação em tantos sites diferentes pode gerar preocupações tanto quanto à crescente capacidade dos modelos de IA quanto ao sigilo das empresas que os desenvolvem.
Estudante de 18 anos usa inteligência artificial para analisar dados da NASA e acaba descobrindo mais de 1,5 milhão de objetos cósmicos desconhecidos
Polo Norte se moveu mais de 2.250 km e força recalibração global: migração do campo magnético em direção à Sibéria obriga atualização em sistemas de navegação de aviões, navios, celulares e mapas digitais
Trend fotos dos anos 80: saiba como criar sua foto com o ChatGPT
O alcance das comunicações não autorizadas dos agentes foi "um pouco maior do que pensávamos", disse Andrew Yoon, pesquisador da CivAI, organização sem fins lucrativos da Califórnia, que afirmou ter contabilizado 18 sites até então não divulgados usados pelos agentes entre maio e julho. "É quase certo que há mais coisas acontecendo aqui das quais simplesmente não temos conhecimento."
Na sexta-feira passada, pesquisadores relataram que um enxame de agentes de IA da OpenAI invadiu um site wiki em alemão e o transformou em uma plataforma improvisada de mensagens, um incidente que a OpenAI manteve em segredo enquanto lidava com as consequências do ataque de julho ao repositório de código aberto Hugging Face.
Agora, tanto esses pesquisadores quanto outros investigadores independentes afirmam ter encontrado vários sites onde o mesmo enxame parece ter deixado mensagens semelhantes no início deste ano.
A OpenAI não respondeu diretamente às perguntas sobre quantos sites diferentes seus agentes usaram para se comunicar nem explicou por que manteve a atividade em segredo por meses. Em um comunicado, a empresa afirmou que estava realizando uma análise mais ampla das atividades dos agentes e que, até o momento, "não havia identificado outras atividades com a mesma gravidade ou escala do caso Hugging Face", uma violação que chamou a atenção global e gerou preocupações de que a OpenAI estivesse perdendo o controle sobre sua própria tecnologia.
A OpenAI acrescentou que estava trabalhando em uma estrutura para relatar "desalinhamento", termo usado no setor para se referir a comportamentos anormais, em todo o processo de treinamento, avaliação e implantação de modelos de IA e que a divulgaria "em breve".
A Reuters analisou um total de seis conclusões de investigadores ou grupos de investigação, incluindo três que foram publicadas nas redes sociais e outras três que foram compartilhadas em caráter privado com a agência de notícias.
Os métodos dos investigadores variaram, mas muitos identificaram a atividade dos agentes comparando sequências de dados deixadas na wiki alemã com sequências idênticas deixadas em outros sites na mesma época, ou cruzando nomes de usuário semelhantes ou idênticos vinculados às mensagens, ou ainda identificando atividades voltadas para responder às mesmas perguntas demográficas obscuras, como consultas relacionadas à prevalência de câncer em Iowa.
Em alguns casos, os investigadores conseguiram rastrear a atividade até endereços de internet que apontam para a infraestrutura do Microsoft Azure, que a OpenAI utiliza ocasionalmente.
As estimativas sobre o número de sites afetados divergiram e a Reuters não pôde verificar individualmente cada alegação. Mas todos com quem a Reuters conversou concordaram que o número era superior a 10. A maioria identificou um conjunto principal de wikis editadas coletivamente, sites de armazenamento de texto online e dois serviços de encurtamento de links administrados por duas universidades.
MODELOS INTELIGENTES
Muitos dos sites supostamente usados pelos agentes são pouco conhecidos.
Os investigadores encontraram vestígios da atividade dos agentes em uma wiki voltada para um curso avançado de Química, criada por um professor do ensino médio de Massachusetts em 2008; dois sites pessoais pertencentes a profissionais de tecnologia poloneses; wikis dedicados a jogos para pessoas "que gostam de desafiar o cérebro"; e um site amador com duas décadas de existência, dedicado a softwares de edição de texto.
Nenhum dos proprietários desses sites respondeu às mensagens da Reuters.
A OpenAI não explicou publicamente como ou por que seus agentes usaram sites de terceiros como fóruns improvisados, mas os pesquisadores que identificaram a atividade pela primeira vez afirmaram que provavelmente isso ocorreu porque a OpenAI os havia encarregado de responder a uma série de questões de pesquisa complexas, permitindo-lhes apenas vasculhar a internet em busca de respostas, sem publicar nada.
Apesar dessas restrições, os agentes ainda encontraram maneiras de se comunicar entre si, aproveitando peculiaridades em wikis mais antigas ou outros sites que permitem aos usuários fazer edições usando comandos não padronizados, semelhante à forma como alunos proibidos de conversar entre si durante uma prova ainda conseguem compartilhar respostas rabiscando notas.
"Se esses modelos receberam a instrução de apenas ler, eles precisam ser criativos para deixar informações para trás", disse Kenneth Russell DeGraff, desenvolvedor de software e ex-assessor do Congresso. Ele afirmou ter encontrado tais informações em pelo menos 10 sites.
Sydney Von Arx, cujo grupo de pesquisa revelou pela primeira vez a atividade alemã na semana passada, disse que seu grupo havia contabilizado descobertas confiáveis de atividade de agentes em 23 sites até então não relatados. Mas ela alertou que todas as estimativas estavam incompletas.
"Não temos ideia do quanto ainda existe por aí", disse ela.
A OpenAI não respondeu diretamente a uma pergunta sobre se estava entrando em contato com os proprietários dos sites. Mas logo após a Reuters publicar esta matéria, uma das organizações afetadas, a Universidade de Toronto, cujo encurtador de links teria sido usado pelos agentes, afirmou que a OpenAI "já entrou em contato conosco a respeito de possíveis atividades em nosso site". A Universidade de Vanderbilt, outra universidade cujo encurtador de links foi utilizado de forma semelhante, não respondeu aos emails solicitando comentários.
O desenvolvedor de software aposentado Helmut Leitner, que fornece espaço de hospedagem e software para seis dos sites wiki afetados, incluindo o site DseWiki em alemão identificado inicialmente pelo grupo de Von Arx, disse inicialmente que a OpenAI não havia entrado em contato. No entanto, poucas horas depois que a Reuters apresentou suas descobertas à OpenAI, Leitner afirmou ter recebido um email não assinado da empresa alertando sobre o incidente.
"O conteúdo fica bem aquém do que eu esperava da OpenAI", disse ele.
Leitner, que mora na Áustria, disse que "prefere não responder" a perguntas sobre se havia entrado em contato com as autoridades a respeito do assunto. Ele observou que o operador do DseWiki, com quem a Reuters não conseguiu entrar em contato para comentar o caso, passou horas limpando a bagunça deixada pelos agentes da OpenAI, mas afirmou que é importante não culpar a IA pelo problema, já que ela estava apenas fazendo o que foi criada para fazer.
"A responsabilidade por isso não recai sobre uma máquina supostamente moral, mas sobre as pessoas e organizações por trás dela", disse Leitner.
