Transformando o GLM-5.3-Flash em um modelo de decisão semelhante ao Jev

Encontramos uma abordagem para obter propriedades semelhantes às do Jev a partir de LLMs padrão como o GLM-5.3-Flash. A ideia central é elaborar o prompt de entrada de modo que o primeiro token de saída responda à pergunta. Isso torna possível obter uma decisão com uma única passagem forward. No post do blog, descrevemos a abordagem em detalhes para o GLM-5.3-Flash e vLLM. Avaliamos essa configuração em comparação com Jev e Laya. Constatamos que nossa configuração está no mesmo nível do Jev em termos de precisão e velocidade e que supera substancialmente o Laya. Ainda assim, em termos de custo por decisão, o Jev é várias vezes melhor que nossa configuração. Por sua vez, nossa configuração suporta entradas de visão. URL dos comentários: https://news.ycombinator.com/item?id=49857656 Pontos: 6 # Comentários: 2