Um desenvolvedor demonstrou que modelos de linguagem podem rodar em praticamente qualquer coisa, incluindo um microcontrolador de dez dólares, segundo noticiado no início de agosto.
A demonstração não tem uso prático imediato: um modelo pequeno o suficiente para caber ali produz resultado limitado, e a velocidade é incompatível com uso interativo.
O valor está na premissa que ela derruba. A conversa pública sobre IA se organiza em torno de aceleradores caros e data centers, o que sugere que qualquer aplicação exige essa estrutura. Boa parte das tarefas reais não exige.
Isso conversa com um movimento visível no período: modelos pequenos desenhados para rodar sem nuvem e sem acelerador dedicado, e empresas oferecendo inferência no próprio aparelho para quem desenvolve aplicativo.
Para quem constrói produto, a pergunta prática que fica é qual é a menor coisa que resolve o problema. Classificar mensagem, extrair campo de documento e decidir encaminhamento raramente precisam do modelo mais caro disponível.