Pourquoi c'est une étape distincte du robots.txt
Quand un domaine passe par le proxy Cloudflare (le "nuage orange" activé sur l'enregistrement DNS), Cloudflare peut intercepter et bloquer une requête avant qu'elle n'atteigne l'hébergeur. Un robots.txt permissif ne change rien si le blocage se fait à cette étape.
Étapes générales
- Se connecter au tableau de bord Cloudflare du domaine concerné.
- Chercher la section liée à la gestion du trafic IA (AI Crawl Control ou équivalent selon la version de l'interface).
- Vérifier l'état des trois catégories de trafic IA reconnues: Search, Agent, Training.
- Autoriser explicitement les catégories souhaitées plutôt que de laisser les valeurs par défaut, qui peuvent changer avec le temps.
Cloudflare a annoncé bloquer par défaut les catégories Training et Agent pour les nouveaux domaines à partir du 15 septembre 2026, sur les pages affichant des publicités. Même en dehors de ce cas précis, il vaut mieux vérifier la configuration explicitement plutôt que de se fier aux valeurs par défaut.