Intelligence artificielle

Tous les articles de cette rubrique.

Gros plan sur un microphone professionnel dans un studio d'enregistrement acoustique moderne.

NVIDIA lance Nemotron 3.5 pour la transcription multilingue

NVIDIA a rendu disponible Nemotron 3.5 Transcribe, un modèle de transcription open-weight qui transforme l’enregistrement audio en texte exploitable, en intégrant la reconnaissance vocale, l’attribution des locuteurs, la traduction et la réponse aux questions audio en un seul point de contrôle. Ce modèle gère la transcription de 40 langues, traduit 31 d’entre elles vers ou depuis l’anglais, et identifie les locuteurs dans 13 langues. Il peut traiter des enregistrements allant jusqu’à une heure et étiqueter jusqu’à huit intervenants.

Le besoin de transcrire ne se limite plus à capturer les mots. Les réunions multilingues, les dictées médicales ou les appels rapides exigent des formats de sortie spécifiques : une traduction, des étiquettes de locuteur, ou une orthographe médicale précise. Nemotron 3.5 permet aux développeurs de guider ce résultat grâce à des instructions en langage naturel. On peut demander au modèle, par exemple : « Transcrivez cet enregistrement et étiquetez chaque orateur », ou « Traduisez cet audio en anglais ».

Ce modèle se distingue par ses performances mesurées. Sur le classement Open ASR de Hugging Face, il est le premier modèle open-weight pour l’anglais, affichant un taux d’erreur de mots (WER) moyen de 5,33 %. De plus, selon Artificial Analysis, il atteint un AA-WER de 2,8 % avec environ quatre milliards de paramètres actifs, ce qui le place sur la frontière de Pareto de l’exactitude par rapport aux paramètres utilisés.

Représentation abstraite d'un réseau de données complexes traitant plusieurs flux linguistiques et de voix.

L’adaptation par le pipeline Granary v2

Au-delà de la reconnaissance brute, NVIDIA a déployé Granary v2. Ce pipeline de données multilingues, disponible sur Hugging Face et ModelScope, permet une adaptation poussée du modèle. En utilisant les outils de réglage fin NeMo Speech, les développeurs peuvent définir la forme écrite exacte souhaitée. Une étude de cas médicale a montré que le taux d’erreur de mots a été réduit de 45,8 % en réglant le modèle sur des données spécifiques.

Le modèle permet également d’intégrer des connaissances contextuelles avant l’entraînement. Dans un contexte de santé, par exemple, un développeur peut spécifier : « Transcrivez cette discussion médicale dans sa langue originale. Termes possibles : HbA1c, metformin. Utilisez ces termes uniquement si l’audio les soutient. Préservez l’orthographe médicale standard. »

Performances sur les benchmarks spécialisés

En ce qui concerne l’attribution des locuteurs, Nemotron 3.5 se classe premier parmi les modèles open-weight sur le benchmark DAI-ASR-I18N de David AI. Il est également en tête sur le classement de VoiceArena pour la comparaison des systèmes. Pour les enregistrements longs, le modèle gère des sessions allant jusqu’à une heure.

Le modèle peut produire différents résultats à partir d’un même fichier – transcription, traduction ou réponse à une question sur le contenu. Cependant, comme pour tout système de traitement du langage, il est nécessaire de vérifier manuellement les noms propres et les changements de locuteurs avant toute intégration en production.

Sources

Un plan rapproché sur un poste de travail de développeur moderne, montrant un diagramme abstrait d'orchestration superposé à un éditeur de code.

GitHub Copilot Fusion orchestre les modèles pour optimiser coût et performance

GitHub Copilot Fusion est désormais disponible. Au lieu de choisir un modèle spécifique pour chaque tâche de codage, les développeurs peuvent sélectionner Copilot Fusion et laisser l’outil router et orchestrer intelligemment les modèles nécessaires. Ce système combine l’orchestration de Project HydraFusion avec la sélection fine des modèles de Copilot, visant à équilibrer performance et efficacité des coûts.

En sélectionnant Copilot Fusion, l’utilisateur ne choisit pas un modèle unique. Il opte pour un système qui gère le routage pour chaque requête. Il n’est plus nécessaire de basculer manuellement entre les modèles ou de décider quel modèle convient à chaque étape. Pour chaque prompt, Copilot Fusion détermine quels modèles utiliser et comment ils doivent collaborer, laissant à l’utilisateur le choix du niveau d’effort requis.

Ce système propose trois niveaux d’effort : Fusion Standard, qui privilégie les modèles polyvalents pour le codage quotidien ; Fusion High, axé sur les modèles capables pour les tâches plus complexes ; et Fusion Max, qui utilise les modèles les plus performants pour les raisonnements les plus exigeants.

Représentation numérique d'une tâche de codage complexe traitée en séquence par trois couches computationnelles distinctes.

Les workflows d’exécution sont également modulables. Le mode « Single » utilise un seul modèle pour résoudre la tâche. Le mode « Cascade » permet à un modèle efficace de rédiger une ébauche, puis un contrôle qualité décide de l’accepter ou de l’escalader vers un modèle plus puissant. Enfin, le mode « Critique » implique qu’un modèle rédige une première réponse, tandis qu’un autre la révise avant que le premier ne la modifie.

Les résultats en termes d’efficacité sont notables. Selon GitHub, Copilot Fusion Max a obtenu un score de 60 dans l’Artificial Analysis Coding Agent Index, se rapprochant de Claude Code avec Opus 5.5 Max, qui est à deux points. Ce résultat est atteint avec des coûts API environ deux fois inférieurs par tâche, utilisant la moitié des jetons et nécessitant environ 40 % de temps en moins.

L’optimisation des dépenses est déjà observée sur le terrain. Hari Pokhrel, ingénieur logiciel principal chez AT&T, a souligné que « Copilot Fusion Standard a amélioré l’efficacité des jetons chez AT&T en sélectionnant automatiquement le bon modèle pour la tâche, réduisant les dépenses inutiles et préservant la capacité pour des travaux de plus haute valeur » (Hari Pokhrel, AT&T). Avant, les développeurs avaient tendance à sur-utiliser les modèles puissants pour des tâches simples, ce que Copilot Fusion élimine en gérant cette friction.

L’administration de ce système est fine. Les administrateurs peuvent définir quels modèles Copilot Fusion est autorisé à utiliser au sein de leur organisation. Ils peuvent même désactiver certains modèles pour Fusion sans retirer leur disponibilité pour tous les autres utilisateurs.

La facturation s’applique pour chaque modèle utilisé par Copilot Fusion, au tarif standard de ce modèle. Néanmoins, pour une période limitée, les utilisateurs abonnés à Copilot bénéficient d’une réduction de 30 % sur ces coûts.

Copilot Fusion est accessible dans Visual Studio Code, l’application GitHub Copilot, le CLI de GitHub et les IDE JetBrains. Il suffit de mettre à jour son client, de sélectionner Copilot Fusion dans le sélecteur de modèle et de choisir un niveau d’effort pour commencer à tester cette gestion automatisée des modèles.

Sources