Faster LLM inference startup: What you need to know
Adicionar réplicas só aumenta capacidade depois que a nova instância consegue servir; entre start e resposta o servidor carrega weights, inicializa GPU e compila kernels, gerando atraso de startup.
- O servidor precisa carregar weights na VRAM, inicializar contextos CUDA/OpenCL e compilar kernels JIT antes de aceitar requests, o que gera latency de startup.
- Muda o capacity planning e autoscaling: é preciso prever réplicas aquecidas (warm pools), preloading ou delays na escala para evitar gaps de capacidade ao deployar mais réplicas.
- #capacity
- #cncf
- #gpu