DharmaOCR Full et DharmaOCR Lite arrivent sur la scène de l’OCR spécialisé, promettant de surpasser les solutions propriétaires et open-source existantes. Ces modèles, conçus spécifiquement pour le traitement de documents structurés, cherchent à optimiser simultanément la qualité de la transcription, la stabilité de la génération et le coût d’inférence.

L’annonce, relayée par arxiv.org, présente cette paire de Modèles de Langage Spécialisés (SSLMs). Le cahier des charges est ambitieux : ces modèles doivent gérer des documents imprimés, manuscrits, ainsi que des pièces administratives et juridiques. Un point méthodologique notable, selon l’article, est l’application inédite de l’Optimisation par Préférence Directe (DPO) pour l’OCR. En utilisant les générations dégradées – c’est-à-dire les erreurs ou les boucles anormalement longues – comme exemples de rejet, les auteurs ont pu réduire le taux de dégradation jusqu’à 87,6 % en moyenne, tout en maintenant ou en améliorant la qualité d’extraction.

Ces modèles, dont le plus grand, DharmaOCR Full, compte 7 milliards de paramètres, ont établi un nouvel état de l’art sur le benchmark DharmaOCR-Benchmark. Ils affichent respectivement des scores de 0,925 et 0,911, avec des taux de dégradation respectifs de 0,40 % et 0,20 %. De plus, l’utilisation de la quantification AWQ permet de diminuer le coût de traitement de 22 % par page sans perte notable de qualité, ce qui adresse directement le besoin de compromis coût/performance souvent évoqué avec les API OCR propriétaires.

L’extraction de champs au-delà du texte brut

Il faut bien distinguer l’OCR classique de l’extraction de champs. L’OCR restitue le texte tel qu’il figure sur la page, mais lorsqu’une entreprise recherche des données précises – telles que le nom du fournisseur, le numéro de facture ou la date d’échéance – elle ne souhaite pas le document intégral. Elle exige des champs structurés, immédiatement utilisables pour alimenter une base de données.

C’est là que la spécialisation paie, comme l’illustre le travail présenté sur Hugging Face. Un modèle généraliste peut tenter cette tâche avec un « prompt » bien formulé, mais à fort volume, ce coût devient exponentiel. Le Field Extractor, une version optimisée de DharmaOCR-LITE, résout ce problème. Il prend une image et, soit une requête ouverte, soit un schéma JSON précis, et retourne une sortie parfaitement typée.

On peut choisir d’envoyer une requête ouverte lorsque le contenu du document est inconnu ; le modèle tente alors de deviner les champs structurés à partir du contexte et du formatage. Inversement, si votre système attend des données dans une forme rigide, vous fournissez un schéma exact. Le modèle garantit alors que la réponse correspondra à cette structure, renvoyant null si l’information demandée est absente du document.

Le coût face aux modèles généralistes

Si les performances sont bonnes, il faut aussi regarder les fondations. Les modèles sont entraînés sur trois flux de données : des documents multilingues du web, des données propres au domaine brésilien en portugais, et un ensemble plus restreint d’images de documents locaux. Ce mélange multi-domaine vise à assurer une généralisation au-delà de l’anglais et du portugais.

En comparant ce Field Extractor aux LLM généralistes, les résultats montrent un écart de qualité significatif, allant de 1,8 point à 9,3 points selon le modèle testé. Plus frappant encore, sur le plan financier, le coût est bien plus bas. En comparaison avec les prix affichés par les fournisseurs frontières, le modèle self-hosted peut être jusqu’à 147 fois moins cher, car il est facturé en temps de GPU sur une seule machine L40S, et non en jetons traités.

D’ailleurs, le besoin de datasets spécialisés est bien connu. Par exemple, le BID Dataset, qui contient 28 800 images de documents d’identité brésiliens, illustre la complexité des tâches de classification et de reconnaissance de texte dans des contextes d’identité documentaires très spécifiques.

Sources

• DharmaOCR: Specialized Small Language Models for Structured OCR that outperform Open-Source and Commercial Baselines, arxiv.org
• GitHub – ricardobnjunior/Brazilian-Identity-Document-Dataset: Brazilian Identity Document Dataset (BID Dataset): The first public dataset…, github.com
• Dharma Field Extractor: Any Document In, Structured Fields in JSON Out, Hugging Face, 4 novembre 2026