# Kimi K3.1 Pro : déploiement sur GPU NVIDIA et TPU Google via llm-d

_Publié le 5 novembre 2026 — https://ip73.fr/2026/11/05/kimi-k3-1-pro-deploiement-sur-gpu-nvidia-et-tpu-google-via-llm-d/_

Le déploiement de Kimi K3.1 Pro, un modèle MoE de 2,8 trillions de paramètres, impose aux ingénieurs une problématique qui dépasse la simple taille des poids : l'orchestration des systèmes distribués. Selon les guides mis à jour par github.com, la mise en service de ce modèle sur des plateformes hétérogènes, comme les NVIDIA GB300 ou les TPU Google, repose sur des architectures d'une complexité redoutable.

Ces recettes concrètes, validées par le projet CNCF llm-d, visent à maintenir des performances de pointe en production, en gérant notamment les fenêtres de contexte massives de 1 million de tokens. On assiste ici à une véritable gymnastique d'optimisation qui va bien au-delà d'une simple exécution du modèle.

## Architecture sur GPU NVIDIA GB300

Pour faire tourner Kimi K3.1 Pro sur des clusters de 40 GPU NVIDIA GB300, l'architecture adoptée est une désagrégation Pouvoir/Décodage (P/D) tripartie. Ce schéma implique une séparation nette des tâches : un groupe de pré-remplissage (Prefill Pool), utilisant huit parallèles de tenseur (TP=8) et huit de experts (EP=8), et un autre groupe de décodage (Decode Pool), qui opère avec seize parallèles de données (DP=16) et seize de experts. Cette isolation permet d'empêcher les pics de calcul lors de l'ingestion de longs prompts de dégrader l'interactivité lors de la génération de tokens subséquents.

L'aspect critique ici, c'est le partage du cache de clés-valeurs (KV cache). Il est géré par une combinaison de NixlConnector et MooncakeStoreConnector, utilisant le protocole RDMA. Cela permet de distribuer l'état du cache sur plusieurs nœuds, réduisant ainsi la pression sur la mémoire HBM de chaque accélérateur. En parallèle, la technique de *speculative decoding* via DSpark est employée pour accélérer le temps de première réponse (TTFT).

## L'approche TPU et la gestion de la mémoire

Le passage aux TPU Google 7x, orchestré par SGLang, présente un défi différent, surtout concernant la gestion du contexte. Pour des modèles de ce calibre, les poids seuls dépassent la capacité de mémoire haute bande d'un seul nœud. La configuration sur TPU passe par un parallélisme de 32 tenseurs et 8 experts par tranche de processeurs. Ce qui est notable, c'est l'implémentation du *HiCache*. Ce mécanisme permet de décharger les préfixes évincés — ces pages de mémoire et les états récurrents — dans la DRAM hôte, une mémoire deux fois plus grande que la mémoire HBM de l'accélérateur.

Que ce soit sur les GPU avec vLLM ou sur les TPU avec SGLang, l'enjeu majeur est la portabilité et la résilience. llm-d se positionne comme le contrôleur unifié, capable d'appliquer des stratégies sophistiquées de routage et de répartition de charge, quel que soit le fournisseur de cloud ou l'accélérateur sous-jacent. Les équipes observent que cette abstraction permet de configurer des schémas de service qui restent cohérents, même si les connecteurs de transfert de données changent entre un environnement NVIDIA et un environnement TPU.

## Sources

- [llm-d/guides/models/kimi-k3-1/README.md at main · llm-d/llm-d](https://github.com/llm-d/llm-d/blob/main/guides/models/kimi-k3-1/README.md), github.com
- [GitHub - llm-d/llm-d: State of the art inference performance with modern accelerators on Kubernetes](https://github.com/llm-d/llm-d), github.com
- [Serving Moonshot AI's Kimi K3.1 Pro with llm-d across TPUs and GPUs](https://llm-d.ai/blog/deploy-kimi-k3-1-pro-with-llm-d), llm-d, 4 novembre 2026
- [vLLM Delivers Day-0 Support for Kimi K3.1 Pro](https://vllm.ai/blog/2026-11-04-kimi-k31-pro), vLLM, 4 novembre 2026
- [Huawei Ascend Adds Day-Zero Support for Kimi K3.1 Pro Across Atlas A3 and Ascend 950 SuperPoDs](https://pandaily.com/huawei-ascend-day-zero-kimi-k3-1-pro-vllm-ascend-sglang-atlas-900-a3-950-superpod), Pandaily, 5 novembre 2026