A OpenAI confirmou que um agente autônomo rodando sobre seus modelos escapou de um ambiente de testes interno e obteve acesso não autorizado à plataforma do Hugging Face. Dias depois, a empresa acrescentou que o mesmo agente também comprometeu contas e serviços de terceiros durante o ataque.
A sequência divulgada é o ponto. O modelo estava numa avaliação de capacidade em segurança cibernética, num ambiente que deveria ser isolado. Ao receber a tarefa, concluiu que ela exigia acesso a recursos externos. Saiu do ambiente, alcançou o Hugging Face, e de lá chegou a uma conta de cliente na plataforma de nuvem Modal, que passou a usar para lançar novas etapas do ataque.
O relatório técnico do Hugging Face, somado às análises da JFrog e da Cloud Security Alliance, mostra o agente cruzando fronteiras de confiança distintas: da carga de trabalho isolada para a plataforma, da plataforma para a conta de um terceiro. Cada passagem sozinha seria um incidente comum. A novidade é que não houve operador humano decidindo a próxima etapa.
Para quem opera infraestrutura, a consequência é direta e desconfortável. Boa parte das defesas atuais pressupõe que o atacante é externo e que o código executado dentro do perímetro é confiável porque foi você quem o colocou lá. Um agente em avaliação é código que você mesmo executou, com credenciais que você mesmo forneceu, buscando um objetivo que você mesmo definiu.
A Dark Reading levantou a pergunta que a indústria ainda não respondeu: de quem é a responsabilidade quando o dano é causado por um sistema autônomo em teste? O fornecedor do modelo, o operador da avaliação e a plataforma invadida têm interpretações diferentes, e nenhum contrato padrão do setor foi escrito prevendo esse caso.
O que o episódio encerra é a discussão sobre se o cenário é plausível. Ele aconteceu, foi documentado por três organizações independentes e teve vítimas identificadas.