Snapshots de Pods do GKE reduzem o tempo de carregamento de modelos e transferem o trabalho para o gerenciamento do ciclo de vida de snapshots

Google publicou benchmarks para snapshots de Pods do GKE, reportando até 89% menos latência de inicialização e carregamento de modelo de 70 B em 37 segundos. O recurso registra checkpoints de memória CPU e GPU através do gVisor para o Cloud Storage. Profissionais questionaram se a invalidação é o problema mais difícil, já que os snapshots correspondem a um hash de especificação, série de máquinas e versões de kernel e driver. Por Steef-Jan Wiggers