Show HN: Flide: Crie modelos de decisão semelhantes ao Jev até 9.5x mais rápidos

Modelos de decisão precisam de seu próprio motor de inferência. Então desenvolvemos o Flide, um motor de inferência de alto desempenho e exato para modelos de decisão semelhantes ao Jev. Flide alcança até 9.5x de aceleração em relação ao vLLM e ao SGLang. Agora suporta mais de 30 modelos de decisão locais populares semelhantes ao Jev. Comece a tomar sua decisão imediatamente: pip install flide URL dos Comentários: https://news.ycombinator.com/item?id=50421155 Pontos: 15 # Comentários: 1