Compression MoE : le pruning hiérarchique surpasse les méthodes actuelles
Face à l'encombrement mémoire des modèles Mixture-of-Experts, de nouvelles approches parviennent à compresser les réseaux tout en préservant la performance sur des tâches complexes.