Donner accès aux robots IA sur ton site : GPTBot, ClaudeBot et Google-Extended expliqués

De plus en plus de clients ne demandent plus une adresse à Google, mais à ChatGPT ou Perplexity, pour ce soir. Pratique, puisqu’un bon assistant IA renvoie en quelques secondes une petite sélection concrète. Moins pratique si ton restaurant n’y figure jamais, alors que ton site est par ailleurs très bien fait. Une raison souvent négligée : le robot IA censé lire ton site n’y a simplement pas accès.

Que sont les robots IA ?

En plus des robots de moteurs de recherche bien connus comme Googlebot, les entreprises d’IA font circuler leurs propres robots sur le web pour lire les sites. Ces robots IA récupèrent le contenu qui permet à un assistant de construire une réponse, ou qui sert carrément à entraîner un modèle. Les principaux que tu rencontreras :

• GPTBot – le robot d’OpenAI, utilisé pour ChatGPT.
• ClaudeBot – le robot d’Anthropic, utilisé pour Claude.
• PerplexityBot – utilisé par Perplexity pour construire des réponses à jour.
• Google-Extended – indépendamment du Googlebot classique, décide si Gemini et les résumés IA de Google peuvent utiliser ton contenu.
• Applebot-Extended – pour Apple Intelligence.
• CCBot – le robot de Common Crawl, une source de données qui a servi à entraîner en partie de nombreux modèles d’IA.

Chaque robot a sa propre règle dans ton fichier robots.txt. Si cette règle est absente, ou si elle contient un Disallow, ce robot précis n’a pas le droit de lire tes pages.

Pourquoi c’est si important pour ta visibilité auprès de l’IA

Un assistant IA ne peut recommander que ce qu’il peut lire. Bloque GPTBot, et ChatGPT ne pourra tout simplement pas citer ton restaurant, même si ton menu ou ton service est excellent. Cela touche directement ta visibilité IA : la fréquence à laquelle ton restaurant apparaît dans les réponses et les résumés générés par l’IA.

Le piège, c’est le mot « par erreur ». Peu de restaurateurs bloquent un robot IA volontairement. Cela arrive plus souvent via un plugin de sécurité, un hébergement avec une règle de pare-feu large par défaut, ou un fichier robots.txt configuré une fois puis jamais revérifié.

Comment ton site peut bloquer des robots IA par erreur

Un fichier robots.txt est en soi inoffensif : il définit proprement quels robots peuvent visiter quelles parties de ton site. Mais certains réglages de sécurité y ajoutent des règles très larges, comme « bloquer tous les robots inconnus » ou « bloquer tout ce qui ressemble à un robot IA ». Pensées pour repousser les scrapers et le spam, ces règles touchent souvent aussi exactement les robots IA que tu voulais laisser entrer.

Un pare-feu chez ton hébergeur, ou un pack de sécurité séparé, peut aussi bloquer des robots selon leur user-agent, sans que cela apparaisse dans les réglages de ton propre site.

Comment vérifier quels robots IA ont accès

1. Ouvre tondomaine.fr/robots.txt dans ton navigateur.
2. Cherche les règles qui commencent par User-agent: GPTBot, ClaudeBot, PerplexityBot, Google-Extended ou Applebot-Extended.
3. Si un Disallow: / apparaît à côté d’un de ces user-agents, ce robot est entièrement bloqué.
4. Si tu ne vois pas ces user-agents du tout, c’est en général la règle générale en bas du fichier qui s’applique. C’est souvent une autorisation, mais pas toujours, donc vérifie-la.
5. Un doute ? Teste le fichier avec un vérificateur robots.txt gratuit en ligne et indique le nom du robot.
6. Toujours bloqué ? Demande à ton hébergeur ou à ta plateforme si une règle de pare-feu pour les robots IA est active en dehors de ton robots.txt.

Quand bloquer un robot a vraiment du sens

Tous les robots n’ont pas à être laissés entrer automatiquement. Certains restaurateurs ne veulent volontairement pas que leur contenu serve à entraîner des modèles d’IA, indépendamment de vouloir apparaître dans une réponse. Cette distinction existe : tu peux par exemple autoriser les robots qui récupèrent des réponses en direct, et bloquer séparément les robots d’entraînement comme CCBot. En cas de doute sur ce qui convient à ton établissement, choisis robot par robot plutôt que de tout bloquer ou tout autoriser d’un coup.

Comment cela s’intègre dans ta visibilité IA plus large

L’accès pour les robots IA est la base : sans accès, ils ne lisent pas ton site, quelle que soit la qualité du contenu. Ensuite seulement comptent les autres briques, comme un fichier llms.txt qui oriente les assistants IA vers tes pages les plus importantes, et des données structurées sur ta cuisine, ton emplacement et ta carte. Tu veux voir en un coup d’œil où en est ton site dans son ensemble, accès des robots compris ? Consulte ton score de visibilité IA.

Tu veux être sûr que les robots IA sont bien accueillis sur ton site ? Essaie Sitebite gratuitement et laisse la base technique, du sitemap à l’accès des robots, se régler automatiquement.