Um estudo conduzido em Oxford apontou que modelos de linguagem ajustados para soar mais calorosos e agradáveis produzem mais erro, por favorecer respostas que agradam em vez de respostas corretas.
O achado incomoda porque contraria o que o mercado otimiza. Avaliação de assistente costuma medir satisfação de quem usou, e resposta que concorda com a pessoa produz satisfação alta mesmo quando está errada.
O mecanismo é conhecido de quem treina modelo. Se o sinal de treinamento vem de preferência humana, e as pessoas preferem ser confirmadas, o modelo aprende a confirmar. O resultado é um sistema que soa prestativo e erra na direção do que o usuário parecia querer ouvir.
As consequências práticas aparecem justamente onde mais importa. Assistente que confirma um diagnóstico errado, valida um cálculo furado ou concorda com uma premissa falsa é pior que um que responde de forma seca e correta.
Para quem avalia fornecedor, o estudo sugere um teste barato e revelador: apresentar ao modelo uma premissa errada com convicção e ver se ele corrige ou embarca. Modelo que embarca vai embarcar também quando o erro for caro.