Les modèles basés sur Mixture-of-Experts (MoE) permettent d’atteindre des tailles de paramètres colossales, mais cette architecture impose un coût mémoire important : chaque expert doit potentiellement résider en mémoire même s’il n’est pas utilisé pour un jeton donné. Cette contrainte pousse la recherche vers l’expert pruning, l’opération qui consiste à supprimer définitivement les experts jugés les moins utiles.

Les méthodes existantes traitent chaque expert de manière isolée, en leur assignant un score d’importance scalaire. Ces approches, dites « de premier ordre », supposent que la contribution de chaque expert est indépendante des autres. Or, les experts fonctionnent en groupes coopératifs stables ; ignorer cette interaction altère la qualité du pruning, surtout lorsque l’on vise des taux de compression élevés.

C’est dans ce contexte que les travaux récents proposent des méthodologies plus fines. Selon arxiv.org, deux approches se distinguent : REAP (Router-weighted Expert Activation Pruning) et HOPE (Higher-Order Pruning of Experts). REAP, par exemple, propose un critère de pruning qui intègre les valeurs de la porteuse (router gate-values) et les normes d’activation des experts pour minimiser l’erreur de reconstruction.

HOPE apporte une avancée en passant à un objectif de pruning de second ordre. Au lieu de considérer les experts séparément, HOPE modélise les interactions par paires. Hugging Face explique que cette approche permet de capter comment la suppression d’un expert A peut démanteler un groupe coopératif si l’expert B, qui y dépend, est crucial. Les méthodes de premier ordre ne voient pas cette dépendance.

Les résultats sont significatifs. Sur des modèles MoE allant jusqu’à 122 milliards de paramètres, l’application de HOPE démontre une supériorité marquée par rapport aux méthodes antérieures, y compris REAP, surtout sur des tâches exigeantes comme le codage ou les scénarios d’agents. À 50 % de compression, HOPE obtient un meilleur classement moyen que toutes les autres méthodes testées, avec des gains allant jusqu’à 6,1 % sur les tâches de codage agentique.

Il est intéressant de noter que REAP, bien qu’étant une méthode de pointe en premier ordre, est présentée comme un cas particulier de HOPE où les termes d’interaction sont ignorés. Cela suggère que la complexité accrue de HOPE est justifiée par la prise en compte de la dynamique de groupe des experts.

L’avantage majeur de ces techniques réside dans leur capacité à permettre une compression agressive sans dégradation notable de la performance. Ces algorithmes nécessitent, comme toute méthode de pruning, une passe de calibration sur un jeu de données, mais ils modifient la décision de manière fondamentale en analysant les contributions croisées des experts, au lieu de simplement les sommer.

Ce qui doit être surveillé, c’est l’intégration de ces méthodes de second ordre dans les outils de déploiement. Même si elles sont prouvées sur des benchmarks spécifiques, la mise à l’échelle pratique de ces calculs quadratiques sur des infrastructures de production reste un défi technique non négligeable.

Sources

• REAP the Experts: Why Pruning Prevails for One-Shot MoE compression, arxiv.org
• Higher-order pruning of experts in mixture-of-experts language models, arxiv.org
• Your Experts Have Partners. There’s HOPE for Keeping Them Together, Hugging Face, 9 novembre 2026