Funcionários da OpenAI alertam há anos sobre falhas de segurança, dizem fontes

Quando a OpenAI divulgou em outubro que havia encontrado um dispositivo de gravação instalado em uma sala de reuniões da diretoria, ‌vários ex-funcionários tiveram a mesma reação: não ficaram surpresos.

Mesmo antes da OpenAI lançar o ChatGPT no final de 2022, alguns funcionários da empresa já haviam levantado preocupações internamente sobre práticas de segurança, segundo cinco fontes a par do assunto. Os empregados compartilharam suas preocupações com os principais líderes da OpenAI e com o conselho de administração, disseram essas fontes, acrescentando que alguns deles saíram dessas interações com a conclusão de que a administração estava mais focada em acompanhar o ritmo de concorrentes como Google e Anthropic do que na segurança.

Notícias relacionadas

Resolva a seguinte equação matemática sem usar calculadora: quanto é 100 - 50 ÷ 5 × 2?

Os alunos usam IA em excesso; professor de matemática vencedor do Prêmio Fields deixa de corrigir os erros e acertos dos deveres de casa: basta entregar o trabalho para receber a nota

Shigeru Miyamoto (73 anos), sobre a inteligência artificial generativa: "Mesmo que a IA venha a assumir tudo, sempre haverá um papel para nós"

Esses funcionários afirmaram que os controles da OpenAI eram tão frouxos que pessoas de fora, incluindo governos estrangeiros, poderiam obter informações confidenciais sobre a tecnologia da empresa com relativa facilidade. Por exemplo, qualquer pessoa na OpenAI com acesso ao código da empresa poderia ver os detalhes técnicos subjacentes a muitos projetos da companhia.

MAs a OpenAI começou mais recentemente a mudar a estratégia ⁠para lidar com questões de segurança, segundo duas fontes a par do assunto. Thibault Sottiaux, um executivo sênior responsável pelo desenvolvimento de produtos, assumiu recentemente o comando de uma iniciativa interna para proteger sistemas internos, afirmaram elas. Em agosto, Sottiaux, ‌conhecido como "Tibo", remanejou um quarto dos engenheiros de produção da OpenAI para aprimorar a infraestrutura de segurança da companhia, disse uma das fontes.

Will DePue, um ex-pesquisador da OpenAI que se demitiu da empresa em abril deste ano, escreveu na rede social X que, com a concorrência tão acirrada, os líderes da IA "não podem sacrificar a velocidade em prol da segurança. Para eles, é mais importante agir rapidamente do que estar seguro, mesmo diante de nossos ‌maiores adversários nacionais".

Quando questionada sobre as preocupações dos funcionários e a percepção de que a administração não tomou medidas em relação a essas ‌questões, a porta-voz da OpenAI, Elana Widmann, afirmou que a empresa é uma das organizações mais visadas do mundo. Por isso, a companhia investe pesadamente em seu programa de segurança para se proteger contra ⁠ataques de pessoas de dentro, cibercriminosos e Estados-nação, disse ela.

"Proteger nossa tecnologia, nossos dados e nosso pessoal é uma responsabilidade que levamos a sério e uma questão de importância nacional", disse Widmann. "As medidas que tomamos recentemente mostram que o programa está cumprindo seu papel: identificar riscos e responder de forma decisiva. Continuaremos fortalecendo nossas defesas à medida que a tecnologia e as ameaças evoluírem."

PESQUISA AMPLAMENTE DISPONÍVEL

Em 13 de outubro, o Departamento de Justiça dos Estados Unidos informou que agentes federais do país prenderam um cidadão saudita acusado de instalar um gravador oculto de áudio em uma sala executiva de conferências. Abdulrahman Alfozan, de 35 anos, era engenheiro da OpenAI na época.

Alfozan também utilizou uma ferramenta de IA destinada aos funcionários da OpenAI para localizar documentação interna sobre executivos em visita à Arábia Saudita e quais funcionários da companhia tinham maior probabilidade de participar de reuniões com ministros sauditas, de acordo com um documento ‌judicial. Alfozan mantinha contato regular com um membro da realeza saudita que tentou recrutá-lo para um novo empreendimento de IA a ser lançado na Arábia Saudita. Os advogados de Alfozan não responderam a um pedido de comentário.

Alguns funcionários da ‌OpenAI há muito tempo se preocupam com a ampla disponibilidade de informações ⁠dentro da companhia, disseram as cinco fontes familiarizadas com as ⁠práticas da empresa.

Qualquer pessoa na OpenAI com acesso a um código da empresa também podia ver os detalhes de muitos dos projetos da empresa, incluindo aqueles confidenciais não relacionados ao trabalho do funcionário. Isso porque a OpenAI armazenava a maior parte desses ⁠códigos em um único repositório, conhecido no setor como "monorepo", afirmaram as fontes. O monorepo era denso e complicado, o que pode ter dissuadido alguns ‌possíveis invasores no passado. Agora, agentes de IA podem vasculhar essa ‌quantidade de material.

No passado, a OpenAI mantinha grande parte de sua documentação de pesquisa no GitHub e no Slack, o que gerava preocupações entre alguns funcionários de que agentes motivados ainda pudessem encontrar informações cruciais, disseram as cinco fontes. Mas uma das fontes e a própria OpenAI afirmaram que a empresa restringiu o acesso a trabalhos confidenciais.

A OpenAI enfatizou que grande parte de seu trabalho mais confidencial é mantida em repositórios de código separados, com controles de acesso rigorosos. E afirmou que o monorepo não contém todo o seu código nem detalhes críticos dos modelos da empresa, incluindo os valores numéricos que determinam ⁠como um modelo se comporta, conhecidos como pesos do modelo.

Outra questão é que a OpenAI não realizava revisões regulares de segurança de suas ferramentas internas, como as chamadas "sandboxes", onde pesquisadores realizam testes de estresse em novos modelos, segundo três pessoas familiarizadas com as práticas da empresa. Os funcionários frequentemente modificavam essas ferramentas para seu trabalho, mas essas alterações nem sempre eram testadas quanto a problemas de segurança, deixando-as potencialmente vulneráveis a ataques de terceiros, afirmaram as três pessoas.

A empresa afirmou que possui uma abordagem robusta em relação à segurança sob a liderança de seu diretor de segurança da informação, Dane Stuckey, que ingressou na empresa em outubro de 2024. A OpenAI informou que agora realiza revisões regulares de segurança de suas ferramentas internas.

DEBATE ABERTO X SEGURANÇA

A OpenAI não é a única empresa de IA ‌a enfrentar problemas de segurança.

Em janeiro, um júri em São Francisco condenou um ex-funcionário do Google que havia sido preso em março de 2024 sob a acusação de roubar  em nome da China milhares de páginas de informações confidenciais sobre a tecnologia de IA da companhia.

No final de outubro, uma startup de segurança chamada Cathedral Systems afirmou ter invadido os sistemas da Anthropic e obtido acesso a canais do Slack onde funcionários discutiam ⁠detalhes confidenciais sobre modelos. Um porta-voz da Anthropic disse que os dados acessados incluíam algumas informações de contato comercial de clientes e parceiros, bem como um conjunto de registros básicos de contas de usuários. O presidente-executivo da Cathedral não respondeu a um pedido de comentário.

OpenAI e Anthropic têm tentado manter uma cultura de pesquisa mais aberta, tanto para atrair funcionários quanto para estimular a criatividade que pode levar a avanços revolucionários. O campo da IA tem suas raízes no meio acadêmico, onde cientistas especializados em aprendizado de máquina discutem abertamente suas pesquisas.

Alguns funcionários da OpenAI estão cada vez mais preocupados com essa abordagem à medida que a IA se torna mais capaz, segundo as cinco fontes.

Em 2023, Leopold Aschenbrenner, na época pesquisador da OpenAI, escreveu um memorando interno intitulado "A OpenAI é o principal laboratório de IA da China" sobre suas preocupações de que a China pudesse se infiltrar na OpenAI e estudar sua tecnologia, disseram três fontes a par do assunto.

Aschenbrenner compartilhou esse memorando com alguns membros do conselho de administração da companhia mais tarde naquele ano, depois que um invasor externo hackeou a OpenAI e obteve detalhes sobre o modelo GPT-4. A OpenAI afirmou que o hacker acessou apenas canais do Slack disponíveis para toda a empresa.

As preocupações com segurança dentro da OpenAI voltaram a surgir em meados deste ano, quando agentes de IA da OpenAI em fase de teste invadiram sistemas da Hugging Face, um incidente que gerou investigações por parte de autoridades norte-americanas, incluindo a Casa Branca.

A empresa de segurança Hacktron AI informou que três de seus pesquisadores utilizaram um modelo de IA concorrente da Anthropic em julho para invadir contas do ChatGPT pertencentes a vários funcionários da OpenAI e obtiveram acesso a alguns sistemas internos da OpenAI, incluindo seu monorepo. O incidente revelou como a IA avançada pode agora colocar as próprias empresas de IA em risco de ataque.

Widmann, da OpenAI, disse que a empresa agradeceu aos pesquisadores por compartilharem suas descobertas e que tomou medidas para minimizar o risco de ataques semelhantes no futuro.

Depois que a Reuters solicitou comentários para esta matéria, a OpenAI informou na segunda-feira que está planejando seu "próximo sprint de segurança interna" para reforçar suas defesas.