Entre os resultados divulgados no fim de maio, um modelo alcançou 57,9% numa prova considerada difícil, com a ressalva importante de que o número vale para execução com acesso a ferramenta.
A distinção entre medir com e sem ferramenta é a parte que costuma se perder na cobertura. Modelo com acesso a busca, execução de código e consulta a documento resolve problema que sozinho não resolveria, e isso é bom.
É bom porque descreve melhor o uso real. Ninguém coloca modelo para trabalhar sem dar acesso ao que ele precisa consultar, então medir com ferramenta se aproxima mais da condição de produção.
A ressalva é de comparação. Números medidos com ferramenta não se comparam com números medidos sem, e a configuração usada raramente vem detalhada no material de divulgação.
Para quem avalia fornecedor, a consequência prática é conhecida: a única comparação confiável é interna, rodando a tarefa da própria operação com as mesmas ferramentas disponíveis nos dois candidatos.