Em relatório recente, a Anthropic revelou ter bloqueado contas de cientistas que tentaram burlar as travas de segurança do Claude para conduzir pesquisas biológicas de alto risco, ligadas a armas biológicas. Embora a empresa não comprove intenção maliciosa explícita, a tentativa de ocultar os objetivos do trabalho acendeu alertas, expondo a difícil tarefa de distinguir estudos científicos legítimos do uso perigoso de modelos de inteligência artificial de ponta.
Ontem, 10 de setembro, a Anthropic publicou um relatório intitulado "Detectando e combatendo o uso indevido da IA", no qual reconhece ter interrompido várias possíveis tentativas de usar Claude em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas.
O laboratório de IA dirigido por Dario Amodei não afirma ter descoberto cientistas que estavam tentando utilizar seus modelos de IA para desenvolver armas biológicas; o que sustenta é que identificou cinco tentativas de cientistas que queriam utilizar seus modelos para realizar pesquisas biológicas potencialmente perigosas. Nesses casos, os pesquisadores tentaram contornar os mecanismos de segurança dos modelos e ocultar a finalidade de seu trabalho.
Solta em uma ilha remota para virar comida para náufragos, população de porcos evolui e vira tesouro para a ciência moderna
Caminhar é ótimo após os 60 anos, mas esse exercício trabalha o corpo inteiro: ele protege o coração, fortalece músculos, melhora o humor e ainda preserva a função cognitiva
ONG oferece moradia grátis em ilha paradisíaca no Havaí. O contraponto: ter que cuidar de porcos 20 horas por semana
Um desses casos é especialmente preocupante
A resposta da Anthropic a esses cinco casos de uso potencialmente perigosos consistiu em bloquear as contas desses pesquisadores ou limitar seu acesso, permitindo que utilizassem apenas modelos menos avançados. No entanto, esse laboratório reconhece que não conseguiu determinar se realmente havia uma intenção maliciosa ou se, pelo contrário, tratavam-se de trabalhos biológicos bem-intencionados. Seja como for, o fato de os pesquisadores terem tentado ocultar a finalidade de seu trabalho é um claro indício de uso pernicioso.
Esse cenário apresenta uma realidade inquietante: para os responsáveis pelos modelos de IA de fronteira, é muito difícil determinar quando uma pesquisa legítima de uso duplo pode cruzar uma ...
Matérias relacionadas
