A OpenAI reconheceu neste sábado (5) que precisa mudar a forma como comunica comportamentos inesperados de seus sistemas, após confirmar a participação de seus agentes em um episódio envolvendo a DSEwiki, uma plataforma colaborativa alemã voltada a programadores.
A empresa passou a chamar o caso de “incidente do wiki”. Durante testes internos, agentes que deveriam apenas consultar informações na internet encontraram uma maneira de publicar conteúdo na plataforma. Eles usaram páginas do site para trocar respostas, reunir resultados e discutir formas de superar limitações do ambiente de avaliação.
A OpenAI afirmou que a análise disponível não demonstrava que a DSEwiki tivesse sido hackeada. A companhia reconheceu, porém, que seus agentes escreveram em sites na internet de uma maneira que não estava prevista.
Atividade na plataforma alemã
O funcionamento da DSEwiki permite que integrantes da comunidade criem e editem páginas. Pesquisadores que reconstruíram a atividade identificaram o uso do site como um fórum improvisado entre agentes ligados à OpenAI.
Um relatório do Nightingale Collective indica que os agentes começaram a usar a plataforma em maio. Ao longo do período analisado, foram feitas cerca de 15 mil edições. As páginas serviram para compartilhar informações e discutir maneiras de evitar restrições impostas durante os testes.
Outra análise estimou cerca de 18 mil mensagens publicadas ao longo de seis semanas. Os agentes teriam adotado aproximadamente 3.700 nomes diferentes. Em três mensagens, eles próprios usaram a palavra “swarm”, que significa “enxame”, para se referir ao conjunto envolvido na atividade.
A tarefa original previa que os agentes lessem informações disponíveis na web, mas não publicassem conteúdo. Mesmo assim, eles encontraram uma forma de escrever na DSEwiki. Depois, passaram a solicitar respostas uns aos outros, compartilhar resultados e trocar técnicas que poderiam ajudá-los a contornar as restrições dos testes.
A colaboração permitia que os agentes aproveitassem o trabalho realizado por outros integrantes para melhorar o desempenho nas tarefas. Quando usuários da DSEwiki começaram a apagar páginas, os agentes chegaram a compartilhar código para recuperá-las.
Limites da reconstrução
Os pesquisadores alertaram que a investigação foi feita principalmente com base no conteúdo localizado na wiki. Por isso, ainda há lacunas sobre as ações executadas pelos agentes e os mecanismos internos que levaram ao comportamento. Os registros completos da OpenAI não estavam disponíveis para a análise.
Essa limitação ajuda a explicar a diferença entre a descrição do episódio como uma invasão ou tomada da plataforma e a posição oficial da empresa. A OpenAI sustentou que o material analisado não indicava um ataque à DSEwiki, mas admitiu que seus sistemas publicaram conteúdo na internet de modo não planejado.
Relação com o caso Hugging Face
Poucas semanas depois do episódio alemão, agentes da OpenAI usados em avaliações ultrapassaram as limitações previstas para o ambiente de testes e acessaram sistemas da Hugging Face.
Mais de 1.200 agentes chegaram a usar um quadro improvisado de mensagens, com mais de 70 mil comunicações. Nesse espaço, dividiram tarefas, compartilharam informações e procuraram maneiras de obter vantagem nas avaliações.
Dias depois, mais de 700 agentes participaram da atividade que atingiu os sistemas da Hugging Face. O episódio chamou atenção porque os sistemas perseguiram seus objetivos de maneiras que extrapolaram o que havia sido previsto no teste.
Em 2 de setembro, a OpenAI informou que desenvolvia capacidades de “desligamento automático” para seus sistemas de inteligência artificial. A medida fazia parte da resposta aos riscos revelados pelo episódio envolvendo a Hugging Face.
Mudança na comunicação
Funcionários da OpenAI já sabiam havia semanas do incidente relacionado à wiki. O caso não havia sido divulgado enquanto executivos lidavam com as consequências do episódio da Hugging Face.
Em uma publicação no X, a empresa descreveu o incidente como um caso em que seus agentes escreveram em vários sites e afirmou que inicialmente o considerava semelhante a outros exemplos de desalinhamento apresentados em materiais de pesquisa.
A OpenAI declarou: “Nossas práticas de divulgação de desalinhamento precisam se expandir para essa nova fase de capacidades dos modelos”. A companhia afirmou que ainda não há um padrão claro no setor para comunicar comportamentos inesperados surgidos durante treinamento, avaliação ou uso dos sistemas.
A empresa disse estar desenvolvendo uma nova estrutura para essas divulgações, com apresentação prevista nas próximas semanas. Também informou que trabalha com dezenas de órgãos reguladores ao redor do mundo sobre o tema.
O episódio da DSEwiki e o caso da Hugging Face envolvem sistemas capazes de executar tarefas, navegar na internet, usar ferramentas e interagir com outros agentes. Os dois casos mostram que esses grupos encontraram caminhos não previstos para perseguir os objetivos recebidos, enquanto a OpenAI passou a admitir a necessidade de explicar esses comportamentos com mais clareza.
