Faut-il bloquer ou autoriser GPTBot, ClaudeBot et les autres robots IA ?

ClaudeBot, GPTBot, OAI-SearchBot, PerplexityBot. Si vous ouvrez les journaux de votre serveur, vous croiserez ces noms de plus en plus souvent. Ce sont les robots des entreprises d’IA, et ils ne font pas tous la même chose.

Avant de tout bloquer par principe ou de tout laisser ouvert par flemme, il faut savoir qui est qui. Je vous donne la liste, les conséquences de chaque choix et le robots.txt que je recommande à la plupart des PME.

Quels sont les robots des IA (GPTBot, ClaudeBot, PerplexityBot) et à quoi sert chacun ?

Chaque grand acteur a au moins un robot pour l’entraînement et un autre pour la recherche, plus un agent qui visite les pages à la demande d’un utilisateur. Voici les principaux, d’après les documentations officielles d’OpenAI, d’Anthropic, de Perplexity et de Google.

Google-Extended est un cas à part. Ce n’est pas un robot qui visite votre site, c’est un jeton que vous placez dans le robots.txt. Google précise qu’il n’a pas de chaîne d’agent dédiée, que l’exploration se fait avec ses robots habituels, et qu’il n’a aucun effet sur votre présence ni sur votre classement dans la recherche Google.

Robot d’entraînement ou robot de recherche, quelle différence ?

Le robot d’entraînement collecte des pages pour construire les futurs modèles. Le robot de recherche lit vos pages pour les citer, avec un lien, dans les réponses données aujourd’hui aux utilisateurs.

Pour votre visibilité, c’est le robot de recherche qui compte. C’est lui qui permet à ChatGPT, Claude ou Perplexity de trouver votre page quand quelqu’un pose une question sur votre métier, puis de renvoyer vers vous. Le bloquer revient à retirer votre vitrine de leur rue commerçante.

Le robot d’entraînement pose une autre question, presque philosophique. Acceptez-vous que vos textes servent à entraîner des modèles ? Un média qui vend ses articles n’a pas les mêmes intérêts qu’un plombier ou un cabinet comptable. Pour une PME de services, l’enjeu est souvent plus faible, mais le choix vous appartient.

Reste le cas des agents utilisateurs, ChatGPT-User, Claude-User et Perplexity-User. Ils visitent une page parce qu’une personne l’a demandé. OpenAI écrit que le robots.txt peut ne pas s’appliquer à ChatGPT-User, et Perplexity que son agent ignore en général ces règles. Anthropic indique de son côté que bloquer Claude-User empêche Claude de récupérer votre contenu pour répondre à un utilisateur.

Que se passe-t-il si vous bloquez GPTBot ou OAI-SearchBot ?

Bloquer GPTBot signale à OpenAI que vos contenus ne doivent pas servir à l’entraînement, sans effet sur la recherche. Bloquer OAI-SearchBot vous retire des réponses de recherche de ChatGPT, sauf sous forme de simple lien de navigation.

OpenAI le dit clairement dans sa documentation. Les sites qui bloquent OAI-SearchBot ne sont pas affichés dans les réponses de recherche de ChatGPT. Chaque réglage du robots.txt fonctionne de façon indépendante, et il faut compter environ 24 heures pour que ses systèmes prennent en compte une modification. Perplexity annonce un délai du même ordre, jusqu’à 24 heures.

Côté Google, la logique est différente. Les AI Overviews et le Mode IA font partie de la recherche, donc ils se gèrent avec Googlebot et non avec Google-Extended. Pour en sortir sans quitter Google, il existe depuis 2026 un réglage dédié dans la Search Console, décrit dans l’aide de Google. Il coupe toute impression et tout trafic venant de ces fonctionnalités, sans toucher au classement dans le reste de la recherche.

Comment configurer son robots.txt pour les IA ?

Laissez passer les robots de recherche, puis décidez pour les robots d’entraînement. Voici le réglage que je recommande à la plupart des PME qui veulent être citées sans nourrir l’entraînement des modèles.

# Robots de recherche des IA : autorisés
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Robots d'entraînement : bloqués
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Une nuance sur la dernière ligne. Google indique que Google-Extended couvre aussi l’ancrage dans l’application Gemini, c’est-à-dire l’usage de vos pages pour appuyer ses réponses. Si vous tenez à être cité dans Gemini, réfléchissez avant de le bloquer. Et si l’entraînement ne vous dérange pas, supprimez simplement le bloc des robots d’entraînement.

Trois erreurs classiques sont à vérifier dans votre fichier. La première est une règle User-agent: * suivie de Disallow: /, laissée par un développeur pendant la construction du site, qui bloque absolument tout le monde. La deuxième est d’oublier les sous-domaines, puisque chaque sous-domaine a son propre robots.txt, ce que rappelle Anthropic. La troisième est de croire qu’il faut écrire « Allow » pour autoriser un robot, alors qu’un robot qui n’est visé par aucune règle a déjà le droit de passer. Dans mon exemple, les lignes « Allow » servent surtout à rendre l’intention lisible.

Anthropic accepte aussi la directive Crawl-delay, utile si ses robots chargent trop votre serveur. Il précise qu’un blocage par adresse IP ne garantit pas une exclusion durable, le robots.txt reste la méthode recommandée.

Un nouveau signal arrive par ailleurs. Depuis le 30 octobre 2026, Anthropic reconnaît une préférence « pas d’entraînement IA » issue des travaux du groupe AIPREF de l’IETF. Google annonce son intention de la prendre en charge début 2027, et Microsoft à partir du 1er février 2027. Le texte de l’IETF n’est pas encore finalisé, donc j’attendrais une syntaxe stable avant de toucher à votre fichier.

Microsoft ajoute de son côté une préférence propre à l’ancrage des réponses de Copilot, qui se règle page par page et non dans le robots.txt. Son annonce précise que refuser l’ancrage réduit la visibilité de la marque dans les expériences d’IA. Pour une entreprise qui cherche des clients, je laisserais ce réglage sur sa valeur par défaut.

Comment vérifier dans vos logs que les robots IA passent ?

Cherchez leur nom dans les journaux d’accès de votre serveur, puis vérifiez que les visites viennent bien de leurs adresses officielles. Les faux robots existent, il suffit d’écrire « GPTBot » dans un script pour se faire passer pour lui.

Sur un serveur Linux, une simple commande suffit pour repérer les passages.

grep -iE "oai-searchbot|gptbot|claudebot|claude-searchbot|perplexitybot" access.log

OpenAI publie les plages d’adresses IP de chacun de ses robots dans des fichiers JSON, liés depuis sa documentation, par exemple searchbot.json pour OAI-SearchBot. Comparez les adresses de vos logs à ces listes pour écarter les imposteurs.

Si vous ne voyez aucun passage, regardez du côté de votre hébergeur, de votre pare-feu ou de votre CDN. Un outil de protection contre les robots peut bloquer les agents IA en amont, et votre robots.txt n’y peut alors rien. OpenAI conseille d’ailleurs, dans sa FAQ destinée aux éditeurs, de vérifier que votre hébergeur ou votre CDN laisse passer les adresses de son robot de recherche. Vérifiez aussi la question du JavaScript et du crawl des IA, car un robot qui passe mais ne lit rien ne vaut guère mieux qu’un robot bloqué.

Les logs montrent qui passe, pas qui vous cite. Pour cette deuxième question, le rapport AI Performance de Bing Webmaster Tools compte vos citations dans Copilot, et le rapport IA générative de la Search Console vos apparitions dans les AI Overviews et le Mode IA. Les deux se complètent bien avec une lecture régulière des journaux.

Une fois les portes ouvertes, la suite se joue sur vos contenus. Pour comprendre comment ChatGPT choisit ensuite ses sources, lisez mon article sur les sources de ChatGPT Search, et pour la différence avec le fichier de présentation destiné aux IA, celui sur le fichier llms.txt. Si vous préférez que je regarde votre robots.txt et vos logs, demandez l’audit offert.