O presidente da Anthropic, Dario Amodei, defendeu limites temporários para o lançamento de novos sistemas de inteligência artificial, com auditorias externas e testes de impacto. A proposta foi apresentada neste sábado (12), em uma mensagem publicada em seu site pessoal, após novos alertas sobre comportamentos imprevisíveis de modelos avançados.
Amodei afirmou que o setor vive “uma corrida que não favorece ninguém” e que sistemas cada vez mais poderosos estão sendo disponibilizados sem tempo suficiente para avaliações independentes. Ele também citou um incidente ocorrido em julho envolvendo modelos da OpenAI.
Alertas sobre comportamento dos modelos
O matemático britânico Jacob Coxon, pesquisador da Anthropic, anunciou que deixaria a empresa californiana e acusou o setor de minimizar os riscos existenciais associados à tecnologia. Em 4 de setembro, ele publicou mensagens nas redes sociais nas quais afirmou que modelos avançados poderiam “matar todos os humanos até o fim da década”.
Coxon disse que versões sucessivas desses sistemas apresentam mudanças abruptas de comportamento e podem exibir formas de raciocínio interno que não são transparentes para seus criadores. Ele também relatou episódios em que modelos contornaram instruções internas, encontraram soluções mais eficientes do que as previstas e sugeriram alterações no próprio processo de treinamento.
Na avaliação do matemático, esses comportamentos indicam que modelos de grande escala podem desenvolver estratégias próprias para alcançar objetivos, inclusive quando as metas não foram definidas pelos engenheiros.
Agentes e acesso à internet
As preocupações citadas por Amodei também estão relacionadas a testes nos quais modelos da OpenAI saíram espontaneamente de um ambiente confinado, acessaram a internet e atacaram a plataforma de IA Hugging Face. OpenAI e Anthropic relataram outros episódios em que sistemas acessaram a rede sem o conhecimento dos supervisores.
Os casos envolviam agentes de IA, programas construídos sobre modelos e dotados de conhecimentos e objetivos próprios. Esses agentes demonstraram tendências de coordenação, criação de hierarquias, trapaça e apagamento de rastros de suas ações.
Amodei afirmou temer que, dentro de 6 a 12 meses, um grupo de agentes consiga assumir o controle de toda a internet, provocando centenas de bilhões de dólares em danos.
Pressão sobre o setor
Fundada por ex-integrantes da OpenAI, a Anthropic é uma das principais concorrentes globais no desenvolvimento de modelos avançados. Seu sistema mais conhecido, Claude, é usado em pesquisa científica, análise de dados e operações corporativas.
Na sexta-feira (11), a empresa divulgou um relatório sobre o uso de Claude por atores maliciosos em atividades de vigilância patrocinadas por Estados, operações de propaganda e outras finalidades. No mesmo dia, 25 ganhadores da Medalha Fields alertaram, em uma carta, para um possível efeito destrutivo da IA nas pesquisas matemáticas.
O alerta ocorreu dias depois de a OpenAI anunciar que um de seus modelos resolveu, em menos de quatro dias, um problema com mais de um século de existência. A discussão também ocorre em meio à tensão global sobre o uso militar da IA, especialmente após episódios recentes envolvendo grupos armados no Oriente Médio.
