Vérifier d'abord le réglage de base
Dans Réglages → Lecture, l'option "Décourager les moteurs de recherche d'indexer ce site" doit être décochée — cochée, elle ajoute une directive Disallow: / générale qui bloque potentiellement aussi les crawlers IA.
Ajouter les règles spécifiques aux crawlers IA
- Avec une extension SEO (Yoast SEO, RankMath) — la plupart offrent un éditeur de fichier robots.txt directement dans leur interface, sans accès FTP.
- Sans extension — déposer un fichier
robots.txtphysique à la racine du site via FTP ou le gestionnaire de fichiers de l'hébergeur; ce fichier prend le pas sur le robots.txt virtuel généré par WordPress.
Attention aux extensions de sécurité
Certaines extensions de sécurité ou de pare-feu (Wordfence et équivalents) bloquent le trafic jugé automatisé par défaut, ce qui peut inclure les crawlers IA légitimes. Vérifier les règles de blocage de bots de l'extension en plus du robots.txt.