Étape 1 — Lire le robots.txt
Visiter votresite.com/robots.txt et chercher des lignes comme User-agent: GPTBot suivies de Disallow: /. Si aucune ligne ne mentionne les crawlers IA du tout, ils suivent probablement la règle générale User-agent: * — à vérifier également.
Étape 2 — Vérifier le CDN ou le pare-feu
Si le site passe par Cloudflare ou un autre CDN avec gestion de bots, ce niveau peut bloquer une requête avant même qu'elle n'atteigne le robots.txt. Vérifier spécifiquement les réglages liés au trafic IA dans le tableau de bord du fournisseur.
Étape 3 — Confirmer avec les journaux serveur
Chercher les lignes contenant "GPTBot", "ClaudeBot" ou "PerplexityBot" dans les journaux d'accès. Un code 403 confirme un blocage actif; un code 200 confirme l'accès.