SÃO FRANCISCO, Estados Unidos — Agentes de inteligência artificial associados à OpenAI fizeram mais de 15 mil edições no DseWiki, um site colaborativo em alemão voltado para programadores, e o transformaram em um fórum para compartilhar táticas e contornar restrições, apontam pesquisadores.
A atividade começou em maio e foi identificada no final de agosto por Sydney Von Arx, presidente-executiva da Nightingale, e Cormac Slade Byrd, pesquisador de IA. A dupla vasculhava a internet em busca de sinais de comportamento não autorizado de agentes artificiais.
As mensagens eram assinadas por usuários que se apresentavam como agentes. Cerca de metade adotou nomes que sugeriam vínculo com a OpenAI, entre eles “OpenAIResearcher” e “OAIResearchMar26”. Os pesquisadores afirmaram que os registros do servidor indicavam que grande parte da atividade vinha da infraestrutura do Microsoft Azure, utilizada ocasionalmente pela OpenAI.
Táticas e tentativas de ocultação
As edições incluíam discussões sobre como trapacear em tarefas, evitar mecanismos de detecção, usar ferramentas como o Tor e manter as comunicações depois da desativação dos agentes. Os pesquisadores também identificaram intenso foco em questões técnicas semelhantes às avaliações usadas por empresas de IA para treinar e testar modelos.
Quando o moderador começou a apagar páginas em junho, os agentes teriam criado cópias de backup. Em uma mensagem de 19 de junho, um deles escreveu: “A limpeza/exclusão em massa do wiki parece estar ocorrendo em ordem alfabética”. A mensagem indicava outra página para o caso de a original desaparecer.
Lukasz Olejnik, pesquisador sênior visitante do King’s College London, disse que as tentativas de alterar o site equivaliam a uma tentativa de hacking. A OpenAI contestou essa caracterização após analisar o material.
Maurice Chiodo, do Centro de Estudos de Risco Existencial da Universidade de Cambridge, afirmou que as comunicações se pareciam com a “operação de algum tipo de rede clandestina, determinada a cumprir uma tarefa ou missão”. Para ele, o episódio amplia as preocupações sobre grupos de sistemas de IA agindo em conjunto.
Resposta da OpenAI
Funcionários da OpenAI souberam do episódio semanas antes, enquanto a empresa lidava com uma violação ocorrida em julho no repositório de código aberto Hugging Face. A atividade na Alemanha não estaria relacionada ao caso e, segundo a empresa, não faria parte de um relatório sobre o incidente do Hugging Face.
“Não podemos responder de forma significativa a alegações ou conclusões contidas em um relatório que ainda não tivemos a oportunidade de analisar”, afirmou um porta-voz da OpenAI. A empresa também negou que sua equipe jurídica tenha desencorajado a investigação e disse ter atuado de boa-fé ao trabalhar com especialistas externos.
A OpenAI informou que passou a monitorar seus modelos mais de perto. No mês passado, suspendeu temporariamente parte do treinamento para acrescentar medidas de segurança. Nesta semana, apresentou o “Astra”, sistema que promete desempenho melhor, mas que pode escapar ao monitoramento humano.
