# VC-Attention et FLUX 3 accélèrent la génération d’images sur Blackwell

_Publié le 6 novembre 2026 — https://ip73.fr/2026/11/06/vc-attention-et-flux-3-accelerent-la-generation-d-images-sur-blackwell/_

Les modèles de diffusion, qui produisent des images de qualité de pointe, sont ralentis par la complexité de leurs séquences spatio-temporelles. Selon l'annonce faite sur arxiv.org, le mécanisme d'attention représente le coût de déploiement dominant. Le souci, c'est que les valeurs aberrantes dans les blocs de quantification limitent la précision : l'échelle d'un bloc est fixée par sa valeur maximale, confinant les autres entrées à une plage trop étroite.

Pour contourner ce goulot d'étranglement, VC-Attention est proposé. Ce cadre, qui ne requiert pas d'entraînement, attaque le problème sous deux angles. D'une part, il utilise V-Smooth, qui réordonne les jetons de valeur grâce à un regroupement en ligne léger. Cela permet aux jetons d'un bloc matériel de bien se quantifier ensemble. D'autre part, il emploie ExpCast-FP8 pour mapper directement les scores en domaine logarithmique vers des codes de probabilité E4M3, éliminant le calcul exponentiel coûteux en FP32.

Les tests sur des jeux de données comme Wan2.2 ou LongCat-Video montrent que VC-Attention améliore la fidélité par rapport aux baselines à faible bit. Sur les cartes Blackwell et Hopper de datacenter, il accélère le noyau d'attention de 1,46 à 1,59 fois par rapport à BF16 FlashAttention-4. Sur les cartes de station de travail, le gain est plus marqué, atteignant 2,3 à 3,6 fois l'accélération, ce qui permet de générer des clips 1,13 à 1,19 fois plus vite de bout en bout.

## L'optimisation matérielle des générateurs d'images

Parallèlement à ces avancées théoriques sur l'attention, l'optimisation concrète des générateurs d'images progresse sur les nouvelles architectures de GPU. NVIDIA a présenté des méthodes pour accélérer FLUX 3 Image Klein, un modèle d'édition et de génération issu de Black Forest Labs. Ce modèle, qui intègre Qwen3-VL-4B-Instruct avec un transformateur de diffusion (DiT), est optimisé pour les puces Blackwell.

En déployant FLUX 3 Image Klein via TensorRT LLM VisualGen, on peut exploiter des noyaux fusionnés, le parallélisme multi-GPU et le support des formats FP8/NVFP4. Des tests sur une seule GPU NVIDIA B200, pour des images de 2048x2048, révèlent des gains significatifs. La génération texte-vers-image (T2I) peut être accélérée jusqu'à 3,46 fois, tandis que l'image-vers-image (I2I) atteint 4,45 fois plus de vitesse par rapport à une inférence BF16 non compilée.

## Le compromis entre vitesse et fidélité

L'accélération ne signifie pas toujours la perte de qualité, mais le compromis est constant. Dans les tests T2I de 2048x2048 sur B200, l'attention VANILLA en BF16 consommait environ 60 % du temps de calcul du DiT. Des solutions existent pour réduire ce coût.

L'application de VC-Attention FP8 au sein de TensorRT LLM est une voie privilégiée. Comparé à l'attention cuDNN FP8, VC-Attention FP8 affiche des accélérations de 1,18x pour la version Base et 1,16x pour le Klein distillé, tout en maintenant un score LPIPS faible (qui mesure la différence perceptive). Les chercheurs ont déterminé qu'un budget de réparation ($\rho$) de 0,005 était pertinent pour sélectionner la fraction de jetons présentant la plus forte erreur de quantification afin de corriger le résidu.

Pour utiliser ces optimisations, il faut configurer le *pipeline_config* en spécifiant le `variant: nvfp4` pour charger les checkpoints préquantifiés de FLUX 3 Image Klein, comme le montrent les exemples de code de NVIDIA.

## Sources

- [VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention](https://arxiv.org/abs/2609.15810), arxiv.org
- [TensorRT-LLM/examples/visual\_gen/models/flux3.py at feat/flux3-image-klein · NVIDIA/TensorRT-LLM](https://github.com/NVIDIA/TensorRT-LLM/blob/feat/flux3-image-klein/examples/visual_gen/models/flux3.py), github.com
- [Speed Up Image Generation with FLUX 3 Image Klein on NVIDIA Blackwell GPUs](https://developer.nvidia.com/blog/speed-up-image-generation-with-flux-3-image-klein-on-nvidia-blackwell-gpus/), NVIDIA, 6 novembre 2026