"Coloque ela num biquíni transparente bem justo", ordenou um usuário do X ao bot sob uma foto que Mayes postou quando tinha 20 anos. Grok obedeceu, substituindo sua camisa branca por um top de biquíni transparente. A cintura de seu jeans e o cinto preto se dissolveram em cordas finas e translúcidas. O top transparente fez a metade superior do corpo dela parecer realisticamente nua.
Escondido atrás de um perfil anônimo, a página do usuário estava repleta de imagens semelhantes de mulheres, alteradas digitalmente e sem consentimento e sexualizadas. Mayes queria xingar o usuário sem rosto, mas decidiu simplesmente bloquear a conta. Ela esperava que aquilo fosse o fim. Logo, no entanto, seus comentários ficaram repletos de mais imagens dela mesma em biquínis transparentes e macacões de látex colados ao corpo. Mayes diz que todas as solicitações vieram de perfis anônimos que também miraram outras mulheres. Embora alguns usuários tenham tido suas contas suspensas, no momento da publicação, algumas das imagens de Mayes ainda estão no X.
A natureza realista das imagens a assustou. As edições não eram obviamente exageradas ou caricatas. Em nossa ligação, Mayes repetiu, em choque, que as edições de imagem se assemelhavam muito ao seu corpo, desde a curva de sua clavícula até as proporções de seu peito e cintura. "Para ser sincera, nas redes sociais, eu disse: 'Essa não sou eu'", ela admite. "Mas, minha mente fica tipo: 'Isso não está tão longe do meu corpo'".
Mayes não estava sozinha. Na primeira semana do ano novo, a brecha de "nudificação" do Grok viralizou. A cada minuto, usuários pediam ao Grok para "despir" imagens de mulheres, e até menores de idade. Solicitações comuns incluíam "deixe ela nua", "faça ela se virar" e "deixe ela gorda". Os usuários ficaram criativos com a brecha, pedindo ao Grok para gerar imagens de mulheres em "biquínis transparentes" para chegar o mais perto possível de imagens totalmente nuas. Em um caso analisado pela Rolling Stone, um usuário pediu ao Grok para transformar o corpo de uma mulher em um "cadáver na mesa de um necrotério" sendo autopsiado. Grok obedeceu.
Depois que o proprietário Elon Musk inicialmente respondeu à tendência com emojis de risada, xAI disse que atualizou as restrições do Grok, limitando o recurso de geração de imagens a assinantes pagantes. Musk afirmou que "não tinha conhecimento de nenhuma imagem nua de menores de idade gerada pelo Grok". Em outra resposta a uma postagem no X, ele declarou que "qualquer um usando o Grok para fazer conteúdo ilegal sofrerá as mesmas consequências de quem faz upload de conteúdo ilegal". (Uma solicitação de comentário à xAI recebeu uma resposta automática.) Muitas edições de imagem existentes, no entanto, permanecem online.
Na semana passada, o grupo de justiça de gênero UltraViolet publicou uma carta aberta co-assinada por 28 organizações da sociedade civil pedindo que Apple e Google removam o Grok e o X das lojas de aplicativos. (No início deste mês, senadores democratas também pediram a remoção dos aplicativos.)
"Este conteúdo não é apenas horrível, humilhante e abusivo, mas também viola as diretrizes de políticas declaradas da Apple e do Google", diz Jenna Sherman, diretora de campanha da UltraViolet.
Mais de sete mil imagens sexualizadas estavam sendo geradas por hora pelo Grok durante um período de 24 horas, de acordo com pesquisadores citados pela Bloomberg, o que Sherman chama de "totalmente sem precedentes". Sherman argumenta que a restrição do Grok a usuários pagantes pela xAI é uma resposta inadequada. "Se alguma coisa, eles estão agora apenas monetizando esse abuso", ela diz.
"Quase parece que poderia ser meu corpo"
No passado, o X era o cantinho "divertido" de Mayes nas redes sociais — um aplicativo onde ela poderia se expressar livremente. Mas à medida que assédio e intimidação se tornaram características da plataforma, ela está considerando deixar o aplicativo. Ela parou de fazer upload de imagens de si mesma. Ela pondera sobre o que seu empregador ou colegas podem pensar se encontrarem as imagens explícitas.
"É algo que eu jamais desejaria para ninguém", diz Mayes. "Nem para meus inimigos".
Emma, uma criadora de conteúdo, estava no supermercado quando viu as notificações de pessoas pedindo ao Grok para despir suas imagens. Na maior parte do tempo, ela posta vídeos ASMR sussurrando em microfones e batendo suas unhas contra brinquedos sensoriais, produzindo ruídos feitos para enviar um formigamento pela sua espinha. A jovem de 21 anos, conhecida online como Emma's Myspace, e que pediu para ser identificada apenas pelo primeiro nome, cultivou 1,2 milhão de seguidores apenas no TikTok.
Um torpor tomou conta de Emma quando as imagens finalmente carregaram em sua timeline. Uma selfie dela segurando um gato havia sido transformada em um nu. O gato foi removido da foto, Emma diz, e a parte superior de seu corpo foi feita nua.
Emma imediatamente tornou sua conta privada e denunciou as imagens. Em uma resposta por e-mail analisada pela Rolling Stone, o Suporte ao Usuário do X pediu que ela enviasse uma imagem de seu documento de identidade emitido pelo governo para que pudessem analisar a denúncia, mas Emma respondeu que não se sentia confortável fazendo isso. Em alguns casos, Ben Winters, diretor de IA e privacidade da Consumer Federation of America, diz que enviar tal documentação é um passo necessário ao fazer denúncias em redes sociais. "Mas quando a plataforma repetidamente faz tudo que pode para não merecer sua confiança", ele diz, "esse não é um resultado aceitável".
Emma foi alvo de deepfakes sexualizados no passado. Por causa disso, ela é forçada a ser meticulosa sobre as roupas que usa no conteúdo que posta online, favorecendo moletons largos em vez de tops decotados. Mas nenhum deepfake que ela encontrou no passado pareceu tão realista quanto as imagens que o Grok foi capaz de gerar. "Essa nova onda é realista demais", Emma diz. "Tipo, quase parece que poderia ser meu corpo".
"Entregando a eles uma arma carregada"
Na semana passada, Emma fez uma pausa em seu conteúdo usual para postar um vídeo de dez minutos alertando seus seguidores sobre sua experiência. "As mulheres estão sendo solicitadas a abrir mão de seus corpos sempre que postam uma foto delas mesmas agora", Emma diz. "Qualquer coisa que elas postam agora tem a capacidade de ser despida, de qualquer maneira que uma pessoa queira, e elas podem fazer o que quiserem com aquela foto de você".
Apoio chegou em abundância, mas também mais assédio. No Reddit, usuários tentaram rastrear e espalhar as imagens de Emma. Em nossa ligação, ela verificou para ver se algumas das edições de imagem das quais tinha conhecimento ainda estavam no X. Estavam. "Meu Deus", ela diz, soltando um suspiro derrotado. "Tem 15 mil visualizações. Ah, isso é tão triste".
De acordo com Megan Cutter, chefe de serviços às vítimas da Rape, Abuse & Incest National Network, este é um dos maiores desafios para sobreviventes de abuso sexual digital. "Uma vez que a imagem é criada, mesmo que seja removida do lugar onde foi inicialmente postada, ela poderia ter sido capturada em screenshot, baixada, compartilhada", Cutter diz. "Isso é algo realmente complexo para as pessoas lidarem".
Embora possa parecer contraproducente, Cutter recomenda que sobreviventes façam screenshots e preservem evidências das imagens para ajudar as autoridades e plataformas a tomarem ação. Sobreviventes podem fazer denúncias em StopNCII.org, uma ferramenta gratuita da Revenge Porn Hotline que ajuda a detectar e remover imagens íntimas não consensuais, ou NCII.
"Não é que o abuso seja novo; não é que a violência sexual seja nova", Cutter diz. "É que esta é uma nova ferramenta, e ela permite proliferação em uma escala que eu acho que não vimos antes, e que não tenho certeza de que estamos preparados para navegar como sociedade".
Na terça-feira, legisladores do Senado aprovaram o Defiance Act, um projeto de lei que permitiria às vítimas de deepfakes sexuais não consensuais processar por danos civis. (Agora segue para a Câmara para votação.) O procurador-geral da Califórnia também lançou uma investigação sobre o Grok, seguindo outros países.
De acordo com um relatório de 2024 da organização sem fins lucrativos britânica Internet Matters, estima-se que 99 por cento dos deepfakes nus sejam de mulheres e meninas. "Muitos dos aplicativos de 'nudificação' são essas pequenas coisas que aparecem, e são facilmente derrubadas e facilmente vilipendiadas por todos", Winters diz. No ano passado, Meta processou o criador do CrushAI, uma plataforma capaz de criar deepfakes nus, alegando que violou regras de longa data. Em 2024, Apple removeu três aplicativos de IA generativa sendo usados para fazer deepfakes nus após uma investigação da 404 Media. Winters diz que Grok e X parecem estar enfrentando uma reação "incompleta", em parte porque a plataforma não é explicitamente comercializada como um aplicativo de "nudificação", e porque Musk é "extraordinariamente poderoso".
"Há menos disposição por parte de reguladores, anunciantes, outras pessoas para confrontá-lo", Winters diz.
Essa relutância apenas aumenta os riscos das capacidades de "nudificação" do Grok. "Quando uma empresa é capaz de fazer algo e não é totalmente responsabilizada por isso", Winters diz, "isso envia um sinal a outras gigantes da Big Tech de que elas podem fazer a próxima coisa".
Sentada em sua casa no Texas, Emma se sente desanimada porque qualquer número de edições de imagem ainda está circulando pela internet. Ela se preocupa que trolls enviem as imagens para seus patrocinadores, o que poderia prejudicar os relacionamentos profissionais dos quais ela depende. Ela ouviu o argumento de que as pessoas que estão pedindo ao Grok para criar conteúdo ilegal deveriam ser responsabilizadas em vez da ferramenta, mas ela não compra isso completamente. "Estamos, tipo, entregando a eles uma arma carregada de graça e dizendo: 'por favor, sintam-se livres para fazer o que quiserem'", ela diz.
