Les quatre causes les plus courantes
- Un blocage technique involontaire — certains hébergeurs ou pare-feux (Cloudflare, notamment) bloquent par défaut certaines catégories de crawlers IA. Un robots.txt permissif ne suffit pas si le blocage se fait en amont, au niveau du proxy.
- Un rendu JavaScript pur — si le contenu n'existe qu'après exécution de scripts côté client, plusieurs crawlers ne le verront jamais.
- Aucune mention externe — un site qui n'existe que sur lui-même, sans être cité ailleurs (annuaires, presse, forums), a peu de chances d'apparaître dans une réponse générée, même s'il est techniquement irréprochable.
- Une question trop spécifique ou trop récente — un modèle ne peut recommander que ce qu'il a "vu", soit à l'entraînement, soit via une recherche en temps réel. Une entreprise très récente ou très locale peut simplement ne pas encore avoir de trace suffisante.
Comment vérifier rapidement
Consulter le fichier robots.txt du site (à l'adresse /robots.txt) et chercher si des lignes bloquent explicitement GPTBot, ClaudeBot ou PerplexityBot. Ensuite, désactiver JavaScript dans le navigateur et recharger la page: si le contenu principal disparaît, c'est un signal d'alarme.