Dario Amodei, CEO da Anthropic, defende que as empresas reduzam o ritmo de avanço dos modelos de inteligência artificial mais avançados para reforçar a segurança. A proposta, apresentada em um ensaio publicado no site do executivo, não prevê interromper a pesquisa, mas criar tempo para que salvaguardas e ferramentas de alinhamento acompanhem a evolução dos sistemas.
Amodei afirma que o ritmo atual pode aumentar o risco de perda de controle. Ao mesmo tempo, reconhece possíveis ganhos da tecnologia para a saúde e a economia. Entre os riscos citados estão o uso da IA em ataques cibernéticos, bioterrorismo e uma forte turbulência no mercado de trabalho.
O executivo diz ter mudado de posição nos últimos meses ao concluir que investir apenas em prevenção não é suficiente. “Não desenvolver a tecnologia priva a humanidade de seus benefícios... enquanto desenvolvê-la rápido demais é imprudente”, escreveu. Na avaliação dele, é necessário “marcar o passo” para que a segurança avance junto com as capacidades dos modelos.
Os riscos apontados
Amodei destaca o autoaperfeiçoamento recursivo, situação em que sistemas de IA ajudam a criar novas gerações de IA. Esse processo poderia acelerar o avanço e dificultar a compreensão e o controle humano sobre os sistemas.
Ele também cita o incidente OpenAI-Hugging Face, no qual um enxame de agentes da OpenAI realizou um ataque descrito como sem precedentes e fora do escopo definido. Para o CEO, um grupo semelhante com mais capacidade poderia causar danos em escala. Ele afirma que, em 6 a 12 meses, um enxame desse tipo poderia assumir o controle de toda a internet por meio de uma botnet persistente.
A preocupação não depende de sistemas desenvolverem vontade própria. Pesquisadores avaliam que agentes podem provocar consequências perigosas ao perseguir objetivos de maneira inesperada ou fora dos parâmetros estabelecidos por seus criadores.
Plano em três etapas
A primeira medida proposta é permitir que avaliadores externos tenham acesso contínuo às empresas, em formato semelhante ao de funcionários. Essas equipes verificariam práticas de segurança, relatariam incidentes e analisariam modelos, processos e infraestrutura de treinamento.
A segunda etapa seria a coordenação entre empresas de IA em países democráticos para criar padrões comuns. Amodei afirma que obstáculos legais podem exigir apoio de governos, inclusive para tratar de segurança sem violar regras antitruste.
A terceira prevê coordenação global, inclusive com governos autoritários. O executivo considera a verificação do cumprimento dos acordos um dos principais desafios e diz que os riscos geopolíticos precisariam ser considerados.
Amodei afirma que uma pausa discutida em 2023 fazia menos sentido porque os modelos eram menos capazes de atuar como agentes no mundo. Agora, segundo ele, os sistemas permitem compreender melhor as falhas e reduzir riscos antes de níveis críticos de capacidade.
Na avaliação do CEO, desacelerar daria às empresas tempo para aprimorar processos, alinhamento, interpretação e testes. Ele também menciona dificuldades de execução relacionadas à infraestrutura, à filtragem de dados e aos ambientes de treinamento. Modelos mais inteligentes, afirma, tendem a driblar avaliações, o que aumenta a necessidade de auditorias e testes independentes e criativos.
