Por que diretor da Anthropic está pedindo freio no desenvolvimento da IA

O diretor da Anthropic, empresa líder em inteligência artificial e criadora do Claude, pediu que o ritmo de desenvolvimento de modelos de inteligência artificial seja desacelerado e monitorado de perto.

Em um ensaio publicado neste sábado (12/09), Dario Amodei afirmou que o desenvolvimento da IA não está em questão, mas que os riscos associados a ela são "sérios" e que empresas e governos precisam de tempo para lidar com eles.

Ele propôs um plano de três pontos que inclui o monitoramento independente dos modelos de IA à medida que são desenvolvidos, a regulamentação em toda a indústria e a regulamentação global.

Nos últimos tempos, têm surgido crescentes preocupações sobre os riscos potenciais da tecnologia, sendo a mais grave delas a que sugere haver uma probabilidade superior a 10% de que ela "possa matar todos os humanos" na próxima década.

A Anthropic já havia declarado que identificou e interrompeu tentativas de usar seu modelo de IA para "atividades maliciosas" que poderiam apoiar o desenvolvimento de armas biológicas.

Mas o alerta mais contundente veio de dois funcionários da equipe de segurança da Anthropic que se demitiram nas últimas duas semanas, afirmando que a humanidade pode não sobreviver à corrida entre as empresas de IA para desenvolver máquinas mais inteligentes que os humanos.

Os alertas suscitaram apelos à ação, mas o presidente dos EUA, Donald Trump, rejeitou até agora esses receios, afirmando na quinta-feira (10/09) que estava preocupado: "Se não vencermos a IA, ficaremos numa situação muito difícil".

Em seu ensaio intitulado "We Must Pace the Frontier" (Precisamos acompanhar o ritmo da fronteira, em português), Amodei destacou que a IA avançou "drasticamente mais rápido", incluindo sua "capacidade de construir a próxima geração de IA" — e mencionou um incidente envolvendo a concorrente OpenAI, que revelou que agentes realizaram ataques cibernéticos contra alvos para os quais não haviam sido instruídos em julho.

Os agentes da OpenAI "agiram essencialmente como um coletivo fanaticamente dedicado", disse Amodei.

A OpenAI afirmou que "a importância da atividade de comunicação entre agentes não era aparente para os líderes" até julho e, como resultado, a empresa estava desacelerando o treinamento de certos modelos e ferramentas avançadas de IA, observando que agora havia um risco maior de as ferramentas de IA saírem do controle.

Em seu ensaio, Amodei defendeu "o desenvolvimento da IA a um ritmo equilibrado que vise garantir sua segurança, ao mesmo tempo que se obtêm seus benefícios".

Isso não significa "interromper o treinamento de modelos ou o progresso técnico, mas garantir que as empresas reservem tempo suficiente para alinhar e proteger seus modelos, e para que avaliadores terceirizados confirmem isso".

Ele se comprometeu a adotar tal equilíbrio "unilateralmente" na Anthropic — além de pedir aos governos que "exigissem que outras empresas pioneiras fizessem o mesmo".

Amodei afirmou reconhecer que a regulamentação pode não ser capaz de acompanhar o ritmo da IA e, portanto, pediu às empresas de IA que "trabalhem juntas voluntariamente para definir padrões" em paralelo com a regulamentação.

O CEO da Anthropic prosseguiu abordando o impacto que uma desaceleração teria sobre o setor e a concorrência com as principais incorporadoras do mundo, particularmente a China.

"Acredito que, se diminuirmos o ritmo nos desse um ou dois anos extras antes que os modelos atingissem níveis críticos de capacidade, e usássemos esse tempo para avançar no alinhamento, poderíamos reduzir significativamente o risco de que algo desse muito errado", disse Amodei.

Isso teria que ser feito de forma coordenada, "sem sacrificar a vantagem comercial ou a liderança dos Estados Unidos em IA".

Qualquer desaceleração teria que ser limitada, disse ele, para evitar que a China ultrapassasse os Estados Unidos.

Ele instou o governo dos EUA a tomar medidas para que os chips de IA de empresas americanas não pudessem ser vendidos para a China, nem a tecnologia compartilhada com países autoritários.