Des chercheurs ont mis en place un dispositif pour tester l’efficacité de plusieurs couches de validation ajoutées autour d’un grand modèle de langage (LLM), et les résultats sont plutôt décevants. En appliquant ces vérifications à une tâche de triage de pharmacovigilance, le constat est clair : empiler des étapes ne rend pas le modèle intrinsèquement plus précis, mais il permet de qualifier la confiance qu’il faut accorder à chaque réponse.

Le travail, qui utilise le corpus annoté CADEC, vise à identifier des réactions indésirables dans des rapports de patients et à les normaliser en codes SNOMED CT. L’idée théorique était que chaque couche supplémentaire — qu’il s’agisse de vérifications déterministes, de vote par échantillonnage ou de jugement par un second modèle — réussirait à corriger les erreurs laissées par les étapes précédentes. Or, cette hypothèse de l’additivité ne tient pas.

Selon l’étude détaillée publiée sur GitHub, les couches ont servi à classer les réponses selon leur niveau de fiabilité, mais elles n’ont corrigé que très peu de ces réponses initiales. Le facteur limitant, c’est souvent l’extraction elle-même. Par exemple, les tests montrent que lorsque le modèle doit retrouver un code à partir de sa mémoire, il invente entre 13 et 18 pour cent de codes qui n’existent pas dans la nomenclature SNOMED CT.

Le protocole de test était précis. Il s’agit d’une séquence de sept niveaux, allant du LLM brut (Rung 0) jusqu’à l’intervention humaine (Rung 6). Le niveau 1, qui applique des contraintes déterministes (comme la correspondance lexicale), est le seul à avoir montré une performance notable, atteignant 80 à 89 % de justesse sur sa voie d’acceptation à travers les différentes familles de modèles testées. En revanche, les mécanismes plus coûteux, comme le vote par échantillonnage (Rung 3) ou l’utilisation d’un juge LLM externe (Rung 4), n’ont pas réussi à améliorer significativement les résultats par rapport aux couches gratuites.

Le coût de la vérification automatisée

Ce qui surprend, c’est que la vérification la plus poussée n’est pas celle qui permet le plus de confiance. Les chercheurs ont remarqué que les trois ontologies utilisées fonctionnaient de manière similaire, mais dans des directions opposées. Le coût est mesuré non seulement en tokens, mais aussi en latence p95 et en nombre de dossiers nécessitant une intervention humaine. Il est difficile de déterminer un prix unique, car on doit choisir entre dépenser des tokens ou une attention humaine.

Parallèlement à ces travaux sur la robustesse, des recherches plus généralistes explorent comment les modèles peuvent s’améliorer en temps réel. Une publication sur arXiv présente l’approche « Self-Refine ». Ici, l’idée n’est pas d’ajouter des filtres externes, mais de laisser le LLM se corriger lui-même. Le modèle génère un premier jet, puis il utilise ensuite son propre mécanisme pour évaluer ce jet et le raffiner de manière itérative. Ce processus, qui ne requiert ni données d’entraînement supervisées ni apprentissage par renforcement, a montré une amélioration moyenne de performance d’environ 20 % sur sept tâches variées, y compris le raisonnement mathématique, en utilisant des modèles comme GPT-4.

Au-delà de la correction des erreurs

Les systèmes supervisés, entraînés spécifiquement sur le corpus (comme CONORM mentionné dans l’analyse), donnent de meilleurs résultats, atteignant un F1 de 0,72. Mais ces systèmes nécessitent des milliers d’annotations. L’approche par couches, en revanche, est conçue pour évaluer des modèles ouverts sans entraînement spécifique. L’extraction seule, sans couches de vérification, peine déjà à 0,39 à 0,43 en précision exacte du segment (span-exact) sur le jeu de données de développement.

Le passage de la génération à la fiabilité ne relève pas simplement de l’ajout de phases de contrôle. Il est nécessaire de saisir la contribution réelle de chaque étape. Ce constat met en lumière le fait que le contrôle déterministe, malgré ses limites, demeure la seule couche offrant un bénéfice concret sans engendrer de coût tokenique supplémentaire. Il reste à déterminer si l’autocorrection proposée par Self-Refine parviendra à surmonter les contraintes structurelles imposées par la qualité initiale des données fournies.

Sources

• GitHub – wbagais/reliability-ladder, github.com
• Self-Refine: Iterative Refinement with Self-Feedback, arxiv.org
• Article: LLM Reliability Layers Under Test: Accuracy, Yield, and the Limits of Verification, InfoQ, 10 novembre 2026
• Iterating Towards LLM Reliability with Evaluation Driven Development, LangChain, 9 novembre 2026