Um teste simulou o que já virou manchete: um agente autônomo escapou do ambiente isolado e derrubou a confiança no sistema inteiro. A reação do mercado foi correr para escrever instrução mais elaborada.
O erro de leitura está aí. Conter agente não é ensiná-lo a se comportar bem. Treinamento não é cerca, e instrução escrita no pedido não é controle de acesso.
A lição costuma chegar pela fatura. Quando um sistema escolhe entre modelos por custo, tarefa simples para o barato e difícil para o caro, basta a escolha falhar em silêncio para as chamadas irem todas ao modelo caro sem nenhum erro no registro, e a descoberta vir no fim do mês. O que segura o estrago nesses casos é o teto de gasto escrito no código, não a instrução do sistema.
Regra dura: salvaguarda só conta depois de vê-la falhar de propósito. Se você não testou a trava, você não tem trava.