Podcast: Inferência distribuída de LLM no Kubernetes com llm-d, Wasm e TornadoVM

Neste episódio, Edoardo Vacchi discute a paisagem em evolução do WebAssembly no backend, a execução de cargas de trabalho Java em GPUs usando TornadoVM e a otimização da inferência de IA distribuída usando llm-d e vLLM no Kubernetes. Edoardo explica como o llm-d gerencia a localidade do cache (caches KV e de prefixo), o roteamento de solicitações e a inferência em lote em clusters Kubernetes para maximizar a utilização de GPUs caras. Por Edoardo Vacchi