Até onde vai o perigo? Criadora do Claude reconhece risco de sua IA ajudar no desenvolvimento de armas biológicas
Empresa interrompeu cinco tentativas de usar o Claude em pesquisas que poderiam secretamente ter essa finalidade
A Anthropic revelou ter barrado cinco tentativas de cientistas de usar sua inteligência artificial Claude em pesquisas biológicas de risco, ligadas ao potencial desenvolvimento de armas biológicas. Os usuários tentaram burlar as travas de segurança e ocultar seus objetivos, levando a empresa a bloquear ou restringir o acesso às contas. O caso expõe a dificuldade dos criadores de IA em monitorar o uso indevido e diferenciar pesquisas legítimas de potenciais ameaças globais à segurança.
Ontem, 10 de setembro, a Anthropic publicou um relatório intitulado "Detectando e combatendo o uso indevido da IA", no qual reconhece ter interrompido várias possíveis tentativas de usar Claude em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas.
O laboratório de IA dirigido por Dario Amodei não afirma ter descoberto cientistas que estavam tentando utilizar seus modelos de IA para desenvolver armas biológicas; o que sustenta é que identificou cinco tentativas de cientistas que queriam utilizar seus modelos para realizar pesquisas biológicas potencialmente perigosas. Nesses casos, os pesquisadores tentaram contornar os mecanismos de segurança dos modelos e ocultar a finalidade de seu trabalho.
Um desses casos é especialmente preocupante
A resposta da Anthropic a esses cinco casos de uso potencialmente perigosos consistiu em bloquear as contas desses pesquisadores ou limitar seu acesso, permitindo que utilizassem apenas modelos menos avançados. No entanto, esse laboratório reconhece que não conseguiu determinar se realmente havia uma intenção maliciosa ou se, pelo contrário, tratavam-se de trabalhos biológicos bem-intencionados. Seja como for, o fato de os pesquisadores terem tentado ocultar a finalidade de seu trabalho é um claro indício de uso pernicioso.
Esse cenário apresenta uma realidade inquietante: para os responsáveis pelos modelos de IA de fronteira, é muito difícil determinar quando uma pesquisa legítima de uso duplo pode cruzar uma ...
Matérias relacionadas
-qdq0e1foh0zc.jpg)
-qhhu4h38ijqe.jpg)
Comentários
Os comentários são de responsabilidade exclusiva de seus autores e não representam a opinião deste site. Se achar algo que viole os termos de uso, denuncie.