# Un standard IETF pour bloquer tous les crawlers d’IA

_Publié le 2 novembre 2026 — https://ip73.fr/2026/11/02/un-standard-ietf-pour-bloquer-tous-les-crawlers-d-ia/_

Face à l'ignorance des fichiers robots.txt par de nombreux systèmes d'intelligence artificielle, une nouvelle proposition vise à uniformiser le blocage des contenus. Kevin Kelley, responsable technique pour Anthropic, a soumis à la IETF (Internet Engineering Task Force) un standard permettant aux éditeurs de bloquer tous les crawlers d'IA sans avoir à spécifier chaque fournisseur individuellement.

Jusqu'à présent, pour empêcher un crawler d'accéder aux données d'un site, il fallait ajouter des règles spécifiques pour chaque acteur dans le fichier robots.txt. Ce système devenait ingérable avec la diversité des outils en jeu. La solution proposée par Kelley est une approche « unifiée » : les éditeurs doivent insérer les lignes suivantes dans leur robots.txt pour interdire l'usage des contenus à l'entraînement des modèles : `User-Agent: __usage_ai-training` suivi de `Disallow: /`.

Ce mouvement bénéficie du soutien d'OpenAI, Google, Microsoft et Meta. La proposition respecte le code de conduite prévu par l'AI Act en Europe, même si, comme le soulignent certains, le respect de cette règle n'est pas obligatoire pour tous les fournisseurs.

Anthropic a déjà adopté cette nouvelle directive. Les calendriers d'implémentation varient chez les autres acteurs. Google et Microsoft ont annoncé un support prévu pour début 2027. OpenAI prévoit d'intégrer le standard dans les prochains mois. Microsoft, quant à lui, travaille sur des contrôles plus granulaires, permettant de distinguer les préférences d'entraînement de celles de *grounding* – cette capacité des modèles à citer des sources fiables.

Il est à noter que, selon Golem, les fichiers robots.txt sont souvent ignorés par les systèmes d'IA. Cette tendance pousse à rendre l'utilisation de ce protocole plus obligatoire pour les crawlers d'IA, une évolution que Google semble vouloir généraliser. De plus, Microsoft précisera que dès le 1er mars 2027, il sera possible de définir des préférences distinctes pour l'entraînement et le *grounding*.

## Sources

- [Proposto un nuovo standard per bloccare tutti i crawler AI](https://www.punto-informatico.it/proposto-nuovo-standard-bloccare-tutti-crawler-ai/), Punto Informatico, 31 octobre 2026
- [KI-Crawler: Google will Robots.txt für alle Anbieter zum Standard machen](https://www.golem.de/news/ki-crawler-google-will-robots-txt-fuer-alle-anbieter-zum-standard-machen-2611-214748.html), Golem, 2 novembre 2026

## Crédits photo

- Image en une : [Kissimmee-Computer-Services-Network](https://commons.wikimedia.org/wiki/File:Kissimmee-Computer-Services-Network.jpg), par Computer Support Kissimmee, [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0), via Wikimedia Commons (recadrée)