Surge uma nova forma de ciberataque: áudios maliciosos escondidos em podcasts e vídeos que passam instruções para os modelos de IA
Testes conseguiram que esses modelos realizassem buscas sensíveis, enviassem e-mails com informações do usuário e baixassem arquivos
Você está ouvindo um podcast ou assistindo a um vídeo no YouTube em casa e, sem perceber, começa a ser reproduzido um som indetectável para você, mas que está enviando comandos para seus assistentes de IA. Em seguida, o assistente começa a compartilhar dados sensíveis com o atacante ou instala um malware. A gente já conhecia os ataques de injeção de prompts — agora, chega a injeção de prompts por som.
Parece ficção científica, mas é perfeitamente possível. Uma equipe de pesquisadores da China e de Singapura descobriu uma forma de criar sons maliciosos que podem "sequestrar" modelos de IA de voz, fazendo com que executem comandos sem que você perceba e sem que consiga impedir. Em declarações à IEEE Spectrum, o líder do estudo afirmou que "basta meia hora para treinar esse sinal e, como ele é independente do contexto, pode ser usado para atacar um modelo a qualquer momento, independentemente do que o usuário diga".
Os autores testaram essa técnica contra treze modelos de IA, entre eles serviços da Microsoft e da Mistral. No teste, fizeram com que esses modelos realizassem buscas sensíveis, enviassem e-mails com informações do usuário e baixassem arquivos. Alcançaram uma taxa de sucesso entre 79% e 96%.
Os LALMs (grandes modelos de áudio-linguagem) possuem uma falha crítica de segurança. Como recebem instruções em formato de áudio, é possível injetar comandos maliciosos em sons manipulados. O pior é que esses sons não são vozes com instruções — o que seria relativamente ...
Matérias relacionadas
Comentários
Os comentários são de responsabilidade exclusiva de seus autores e não representam a opinião deste site. Se achar algo que viole os termos de uso, denuncie.