O anúncio de um modelo em beta privado restrito a empresas do mesmo grupo do anunciante levanta uma questão de método que vale além daquele caso.
Testar em operação real tem vantagem clara sobre avaliação em bancada: os problemas aparecem em uso, com dado verdadeiro e consequência de verdade, e não em cenário construído para medir.
O limite é o recorte. Empresas de um mesmo grupo compartilham cultura, infraestrutura, ferramentas e tipo de problema, o que produz um retrato favorável e pouco representativo do que acontece quando o modelo encontra o restante do mundo.
É a mesma limitação de qualquer teste conduzido por quem tem interesse no resultado, e vale para número de avaliação divulgado em lançamento: a medição é escolhida por quem publica e a comparação raramente usa configuração idêntica.
Para quem avalia fornecedor, a saída prática é conhecida e trabalhosa: medir na própria carga, com tarefa que a operação realmente executa, porque a ordem dos candidatos costuma mudar quando o teste sai do material de divulgação.