Anthropic alerta para IA fora de controle com autoaperfeiçoamento sem intervenção humana

247 - A Anthropic alertou que modelos de inteligência artificial podem estar próximos de atingir um estágio em que seriam capazes de se aprimorar sem intervenção humana direta, ampliando tanto possibilidades de avanço científico quanto riscos de perda de controle sobre sistemas avançados. O alerta reacende o debate sobre a necessidade de mecanismos de contenção, monitoramento e intervenção no desenvolvimento da IA, informa a CNN Brasil.

A preocupação foi apresentada em uma publicação assinada por Marina Favaro, líder do The Anthropic Institute, e Jack Clark, cofundador da Anthropic. No texto, os autores afirmam que sistemas com capacidade de “autoaperfeiçoamento recursivo total” poderiam acelerar descobertas em áreas como ciência e saúde, mas também exigiriam novas formas de proteção diante da possibilidade de que máquinas passem a desenvolver seus próprios sucessores.

“O autoaperfeiçoamento recursivo total também pode aumentar os riscos de os humanos perderem o controle sobre os sistemas de IA”, escreveram Favaro e Clark. “Se os sistemas forem capazes de construir totalmente seus próprios sucessores, as formas como os protegemos, monitoramos e moldamos seu comportamento se tornam muito mais importantes.”

Alerta sobre perda de controle

A Anthropic sustenta que o setor de tecnologia pode estar mais perto desse cenário do que se imaginava. Por isso, a empresa defende que companhias envolvidas na criação de modelos de ponta avaliem a possibilidade de desacelerar ou pausar parte do desenvolvimento, a fim de permitir que pesquisadores compreendam melhor os danos sociais que sistemas de IA com autoaperfeiçoamento poderiam causar.

A proposta inclui a criação de mecanismos que permitam a intervenção humana caso o comportamento desses sistemas fuja do esperado. Para Clark, o avanço atual da inteligência artificial ocorre em ritmo acelerado, mas ainda sem instrumentos suficientes para conter eventuais riscos.

Em entrevista à CNN, Jack Clark afirmou que o setor precisa criar um mecanismo equivalente a um “pedal de freio”. “Quando olho para o carro que estamos dirigindo, tudo o que tenho é um pedal de acelerador. Não tenho um pedal de freio e, certamente, em algum momento no futuro, talvez queiramos essa opção”, disse ele a Anderson Cooper.

Ficção científica e riscos reais

Durante a entrevista, Cooper mencionou filmes de ficção científica em que sistemas de IA se voltam contra seres humanos e perguntou se esse tipo de cenário estava entre as preocupações da Anthropic. Clark respondeu que a empresa leva esses riscos em consideração.

“Sim, nós lemos e assistimos a ficção científica aqui também, então não é algo que nos escape”, afirmou. “Como você mantém o controle sobre equipes de cientistas que são muito, muito maiores e muito mais rápidas do que as que você já teve antes?”

Para o cofundador da Anthropic, um dos principais desafios está na dificuldade de validar, verificar e confiar plenamente no comportamento de modelos avançados de IA. Sem essa capacidade, o desenvolvimento de sistemas mais autônomos pode ampliar incertezas sobre segurança, governança e responsabilidade.

Corrida bilionária pela IA

O alerta ocorre em meio a uma disputa cada vez mais intensa por investimentos no setor. A Anthropic entrou com pedido para realizar uma oferta pública inicial de ações, movimento que pode levantar dezenas de bilhões de dólares junto a investidores e impulsionar a construção de data centers e infraestrutura computacional voltada à inteligência artificial.

O texto também cita a SpaceX, que atua com foguetes, satélites e iniciativas ligadas à IA, e afirma que a empresa deve realizar uma oferta pública inicial que poderia levantar US$ 75 bilhões. Nesse ambiente de competição por capital e capacidade tecnológica, a criação de freios comuns entre empresas como Anthropic, SpaceX e OpenAI poderia parecer improvável diante dos valores envolvidos.

Clark, porém, defendeu que a cooperação entre rivais é possível quando os riscos são suficientemente altos. Ele comparou o momento atual da inteligência artificial a experiências históricas de contenção em áreas estratégicas.

“Já fizemos isso antes. No auge da Guerra Fria, em meio a situações de grande tensão entre países rivais, eles encontraram maneiras de estabilizar aspectos da corrida armamentista nuclear”, disse Clark à CNN. “Tudo isso já foi feito antes em outros domínios, e talvez seja algo que precisemos fazer no domínio da IA.”

O debate colocado pela Anthropic reforça a pressão sobre empresas e pesquisadores para que o desenvolvimento de inteligência artificial avance com mecanismos de segurança capazes de acompanhar a velocidade dos próprios sistemas que estão sendo criados.