L’augmentation constante de la taille des modèles d’intelligence artificielle pousse les exigences de calcul bien au-delà des limites que la loi de Moore peut soutenir. NVIDIA répond à cette pression en développant NVFP4, un format de précision flottante à quatre bits, intégré aux GPU Blackwell. Ce format vise à apporter les bénéfices de la quantification ultra-basse en termes de performance et d’efficacité énergétique, tout en conservant une précision comparable aux formats plus élevés.

Selon developer.nvidia.com, ce n’est pas une simple mise à jour logicielle. Il s’agit d’un « codesign extrême », un travail d’ingénierie mené sur toute la pile technologique, depuis la création des formats jusqu’à leur implémentation en silicium et aux recettes d’entraînement.

Les gains sont déjà visibles sur le terrain. Les GPU Blackwell Ultra affichent un débit dense maximal de 15 pétaFLOPS en NVFP4, soit trois fois plus que le FP8 sur la même architecture. Pour l’inférence, passer de FP8 à NVFP4 améliore significativement le débit de jetons sur des modèles complexes, comme DeepSeek-R1, un modèle MoE de 671 milliards de paramètres, ce qui améliore l’expérience utilisateur.

Des performances mesurées dans les benchmarks

L’accélération ne reste pas théorique. Dans le cadre du benchmark MLPerf Training, des systèmes NVIDIA GB300 NVL72 utilisant la précision NVFP4 ont complété le benchmark de pré-entraînement Llama 3.1 405B en 64,6 minutes. Ce temps est nettement inférieur à celui enregistré précédemment par 512 GPU Blackwell sur la même tâche en FP8. NVIDIA a d’ailleurs soumis ces résultats dans la division fermée de MLPerf, confirmant que les méthodes de quantification respectent les seuils de précision requis.

Au-delà de l’entraînement, l’écosystème s’adapte. Des outils comme NVIDIA Model Optimizer et LLM Compressor permettent aux développeurs de quantifier leurs modèles. Des frameworks populaires tels que TensorRT-LLM et vLLM supportent déjà l’exécution des modèles en format NVFP4. Des entreprises commencent à l’adopter ; Black Forest Labs, par exemple, a atteint un gain de vitesse de 6,3 fois sur un B200 en combinant NVFP4 avec d’autres optimisations.

Gérer le contexte dans l’ère agentique

Parler de performance, c’est aussi parler de mémoire. Les applications agentiques, qui nécessitent des raisonnements en plusieurs étapes et un contexte étendu, mettent une pression énorme sur la mémoire HBM des GPU. Le cache KV, qui stocke le contexte des requêtes, gonfle, et les architectures actuelles peinent à suivre sans systèmes complexes.

C’est là que le concept de « full-stack codesign » prend tout son sens. NVIDIA ne se contente pas d’augmenter la capacité HBM ; elle conçoit l’ensemble de la chaîne : GPU, CPU, réseau et logiciel. Cette approche permet de réduire l’emprise mémoire des poids du modèle grâce à NVFP4, mais elle permet aussi de gérer le contexte inactif en le déplaçant vers des niveaux de stockage moins coûteux.

Cette gestion hiérarchique est déjà étudiée. Red Hat, par exemple, a démontré qu’en déchargeant l’état du cache KV vers des tiers moins chers, comme la DRAM CPU ou le stockage réseau, le débit peut s’améliorer jusqu’à 5,8 fois sur des charges de travail agentiques complexes avec des modèles comme Nemotron-Ultra-253B sur H100.

Les développeurs peuvent intégrer ces avancées avec des modèles comme Muse Spark Open de Meta. Ce modèle MoE de 816 milliards de paramètres, optimisé pour le codage agentique, utilise des checkpoints NVFP4, ce qui réduit son empreinte mémoire tout en soutenant une fenêtre de contexte de 1 million de jetons. L’utilisation de plateformes comme NVIDIA NIM simplifie la mise en production en automatisant le choix du backend de service et de la précision.

Sources

• 3 Ways NVFP4 Accelerates AI Training and Inference | NVIDIA Technical Blog, developer.nvidia.com
• Scale Agentic Coding Workflows with Meta’s Muse Spark Open on NVIDIA GB300 NVL72 | NVIDIA Technical Blog, developer.nvidia.com
• More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge, NVIDIA, 5 novembre 2026
• Benchmarking tiered KV cache offloading on H100 GPUs in OpenShift AI 3.5, Red Hat Developer, 2 novembre 2026