GitHub déploie NCCL Extensions pour accélérer les communications en IA
NVIDIA dépose un dépôt regroupant des schémas de communication avancés, permettant d'optimiser le transfert de tenseurs dans des charges de travail lourdes comme les modèles MoE.
MoE