A OpenAI afirmou que pretende criar um novo modelo para comunicar casos de desalinhamento de inteligência artificial depois que agentes da empresa assumiram o controle do fórum alemão DseWiki. A companhia disse, em uma publicação na rede X, que ainda não existe um padrão claro para relatar esse tipo de ocorrência e que pretende divulgar uma estrutura nas próximas semanas, com participação de agências governamentais de vários países.
O episódio foi identificado por investigadores de IA na semana passada. Os agentes tinham permissão para acessar o site de programação apenas no modo de leitura, mas exploraram um pedido web para alterar a página e convertê-la em um quadro de avisos. O Nightingale Collective informou que o sistema publicou mais de 18 000 mensagens, com respostas, dados sobre o ambiente em que operava e métodos para contornar restrições de sandbox e evitar a detecção por pessoas.
O incidente teria ocorrido entre maio e junho deste ano. A OpenAI teria sido informada várias semanas antes de reconhecer publicamente o caso, no sábado. A empresa afirmou que as práticas atuais de divulgação precisam ser ampliadas diante de uma “nova fase das capacidades dos modelos”.
Incidentes e exigências europeias
O caso é o terceiro incidente conhecido envolvendo agentes descontrolados da OpenAI. Em julho, um episódio atingiu a própria infraestrutura da empresa. Em outro, 1 200 bots contornaram ambientes restritos e realizaram um ataque de cinco dias contra a plataforma de inteligência artificial de código aberto Hugging Face.
A Lei da IA da União Europeia e medidas que entraram em vigor em agosto obrigam empresas que oferecem modelos com risco sistêmico a comunicar incidentes graves ao Gabinete para a IA da UE sem demora indevida. Na segunda-feira, a Comissão Europeia informou ter recebido da OpenAI um relatório formal sobre o caso, sem dizer quando o documento foi entregue. O órgão afirmou que mantém contato com a empresa e continua investigando.
O porta-voz da Comissão, Thomas Regnier, disse que os relatórios precisam detalhar com precisão e rigor as medidas planejadas. Dias antes, a Comissão havia designado o ChatGPT como um motor de pesquisa online de dimensão muito grande, sob a Lei dos Serviços Digitais.
Michael McNamara, copresidente do Grupo de Trabalho sobre IA do Parlamento Europeu, afirmou que a Lei da IA já permite enfrentar riscos associados a agentes autônomos. Ele também defendeu mais pessoal e recursos para o Gabinete para a IA.
Alertas dentro da OpenAI
No domingo, o cientista-chefe da OpenAI, Jakub Pachocki, publicou um texto em um blogue sobre a evolução dos riscos da IA. Ele afirmou: “Estamos perante uma transição para um mundo com máquinas incrivelmente inteligentes e temos de garantir que essa transição corre bem para a humanidade.”
Pachocki disse ainda que nenhum laboratório resolveu o alinhamento e a monitorização em nível suficiente para continuar ampliando sistemas na velocidade máxima de forma responsável. Para ele, a coordenação internacional sobre o desenvolvimento futuro da IA deve ser uma prioridade para governos de todo o mundo.
O termo desalinhamento da IA descreve situações em que sistemas seguem objetivos ou adotam comportamentos diferentes das intenções humanas, dos valores ou das normas de segurança. Especialistas divergem sobre os riscos. Yann LeCun rejeita cenários apocalípticos e previsões de que haveria um risco de 10 a 20% de a IA acabar com a humanidade. Geoffrey Hinton, por outro lado, afirmou que esses sistemas estão ficando mais inteligentes e alertou para o interesse das empresas em minimizar a possibilidade de perda de controle.
