Le code à ajouter
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
Sitemap: https://votresite.com/sitemap.xml
Pièges fréquents
- Un bloc
User-agent: * avec Disallow: / placé avant les blocs spécifiques — selon l'interpréteur, ça peut créer de la confusion. Les blocs spécifiques à chaque robot doivent être clairs et non ambigus.
- Un pare-feu ou CDN qui bloque en amont — un robots.txt permissif ne suffit pas si Cloudflare ou un autre proxy bloque la requête avant qu'elle n'atteigne le serveur. Il faut vérifier les paramètres de sécurité/bot management séparément.
- Oublier de mettre à jour la liste — de nouveaux crawlers IA apparaissent régulièrement; une liste figée devient vite incomplète.
