Prix d'un site web pour TPE/PME en 2026 : le vrai coût
Combien coûte un site internet pour une TPE/PME en 2026 : création, nom de domaine, hébergement, maintenance, SEO, et comment comparer les devis.
En bref
- Les fournisseurs d'IA distinguent les robots d'entraînement (GPTBot, ClaudeBot) et les robots de recherche (OAI-SearchBot, Claude-SearchBot).
- Bloquer un robot de recherche réduit vos chances d'être cité dans les réponses. Bloquer un robot d'entraînement n'a pas cet effet, selon OpenAI et Anthropic.
- Google-Extended ne touche pas à la recherche Google : les AI Overviews dépendent de Googlebot.
Noms et rôles des robots vérifiés dans la documentation d'OpenAI, l'aide d'Anthropic et Google Search Central début novembre 2026. Les fournisseurs ajoutent régulièrement de nouveaux robots.
À quoi sert robots.txt face aux IA ?
Le fichier robots.txt, placé à la racine du site (votresite.fr/robots.txt), indique aux robots quelles parties du site ils peuvent explorer. Chaque bloc commence par User-agent: (le nom du robot) suivi de règles Allow: ou Disallow:. Les grands fournisseurs d'IA déclarent respecter ce fichier pour leurs robots d'exploration automatique.
Ce n'est pas une protection technique : un robot malveillant peut l'ignorer. C'est un signal, respecté par les acteurs sérieux, qui suffit pour choisir où vos pages apparaissent.
Quel robot fait quoi ?
| Robot | Fournisseur | Rôle | Si vous le bloquez |
|---|---|---|---|
| GPTBot | OpenAI | Collecte de contenus pouvant servir à entraîner les modèles | Vos contenus ne doivent pas servir à l'entraînement |
| OAI-SearchBot | OpenAI | Faire apparaître des sites dans la recherche de ChatGPT | Vous n'apparaissez plus dans les réponses de recherche de ChatGPT |
| ChatGPT-User | OpenAI | Visite d'une page à la demande d'un utilisateur | OpenAI précise que robots.txt peut ne pas s'appliquer, puisque la visite est demandée par un utilisateur |
| ClaudeBot | Anthropic | Collecte de contenus pouvant servir à l'entraînement | Vos futurs contenus sont exclus de l'entraînement |
| Claude-SearchBot | Anthropic | Exploration pour améliorer les résultats de recherche de Claude | Moins de visibilité dans les recherches faites avec Claude |
| Claude-User | Anthropic | Lecture d'une page quand un utilisateur pose une question | Claude ne peut plus lire vos pages pour répondre |
| Google-Extended | Jeton qui contrôle l'usage de vos contenus pour l'entraînement et l'ancrage des modèles Gemini | Aucun effet sur la recherche Google ni sur les AI Overviews |
OpenAI précise que chaque réglage est indépendant : on peut autoriser OAI-SearchBot pour apparaître dans ChatGPT tout en interdisant GPTBot pour l'entraînement. Anthropic décrit la même séparation pour ses trois robots.
Et les AI Overviews de Google ?
Les AI Overviews et l'AI Mode font partie de la recherche Google. Ils utilisent les pages explorées par Googlebot, le robot habituel. Google l'écrit dans sa page « AI features and your website » : les règles robots.txt visant Googlebot s'appliquent aussi à ces fonctions, et pour limiter ce qui est repris d'une page, il faut passer par nosnippet, data-nosnippet, max-snippet ou noindex.
Bloquer Googlebot pour sortir des AI Overviews vous ferait sortir de Google tout court. Bloquer Google-Extended, lui, ne change rien à votre présence dans la recherche.
Quelle stratégie pour une TPE ?
| Votre objectif | Robots de recherche | Robots d'entraînement |
|---|---|---|
| Être trouvé et cité partout (cas le plus fréquent pour un artisan, un commerce, un prestataire) | Autoriser | Autoriser |
| Être cité, mais ne pas nourrir l'entraînement | Autoriser | Bloquer GPTBot, ClaudeBot, Google-Extended |
| Contenu payant ou réservé | Bloquer les zones privées | Bloquer |
Pour une petite entreprise qui vit de sa visibilité, bloquer les robots de recherche des assistants revient à se retirer d'un canal où les clients posent de plus en plus leurs questions. Le blocage de l'entraînement est un choix de principe, légitime, qui ne vous retire pas des réponses selon les fournisseurs.
Formation en ligne Claude au travail
La formation en ligne « Claude au travail » vous apprend à faire relire par Claude vos fichiers techniques et vos réglages, et à vérifier ses réponses dans les sources officielles.
Formation en ligne Claude au travail : 49 € jusqu'au 30 novembre 2026 (prix de lancement), puis 69 €. Accès à vie.
Pour aller plus loin sur le référencement, la formation SEO avec Claude est à 29 € jusqu'au 30 novembre 2026, puis 39 €.
Le fichier à copier.
Exemple pour le deuxième cas (cité, sans entraînement), avec un espace client privé :
robots.txt d'exemple
User-agent: *
Allow: /
Disallow: /espace-client/
User-agent: OAI-SearchBot
Allow: /
Disallow: /espace-client/
User-agent: Claude-SearchBot
Allow: /
Disallow: /espace-client/
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sitemap: https://www.votresite.fr/sitemap.xml
Attention à un piège : un robot suit le bloc qui porte son nom et ignore alors le bloc *. Répétez donc vos interdictions générales (ici l'espace client) dans chaque bloc nommé.
Le faire vérifier par Claude.
Un robots.txt mal écrit peut bloquer tout le site sans que vous le voyiez. Avant de le mettre en ligne, soumettez-le à Claude.
Prompt à copier
Voici mon fichier robots.txt actuel : [contenu]. Mon objectif : [être trouvé sur Google et cité par ChatGPT et Claude, sans que mes contenus servent à l'entraînement / autre]. 1) Dites, robot par robot (Googlebot, Bingbot, OAI-SearchBot, GPTBot, ChatGPT-User, Claude-SearchBot, ClaudeBot, Claude-User, Google-Extended), ce qu'il peut explorer avec ce fichier. 2) Signalez les erreurs : règle qui bloque tout le site, bloc nommé qui oublie une interdiction générale, faute de frappe dans un nom de robot. 3) Proposez la version corrigée. Indiquez ce que je dois vérifier dans la documentation officielle de chaque fournisseur, car les noms de robots évoluent.
Puis vérifiez dans Search Console, rapport robots.txt (dans les paramètres), que Google lit bien le fichier, et testez une page importante avec l'inspection d'URL.
Robots.txt ne suffit pas pour être cité.
Autoriser les robots ouvre la porte ; encore faut-il que vos pages méritent d'être citées : une réponse claire en tête de page, des informations exactes et datées, une fiche Google complète, des données structurées fidèles. Voir aussi comment être recommandé par ChatGPT et, en complément facultatif, le fichier llms.txt.
Enys applique cette méthode sur son propre site enys.dev. Son robots.txt autorise explicitement les robots de recherche et d'assistant des principaux fournisseurs, tout en fermant les espaces privés.
Passer à la pratique.
Robots.txt se règle en dix minutes : autorisez les robots de recherche si vous voulez être cité, décidez en connaissance de cause pour les robots d'entraînement, et faites relire le fichier avant de le publier. Pour un site livré avec ces réglages en place, voyez la création de site web à Lyon.
Formation en ligne Claude au travail
La formation en ligne « Claude au travail » reprend ces méthodes sur des cas concrets : prompts, projets, fichiers, site, LinkedIn, vérification. À votre rythme.
Formation en ligne Claude au travail : 49 € jusqu'au 30 novembre 2026 (prix de lancement), puis 69 €. Accès à vie.
Pour aller plus loin sur le référencement, la formation SEO avec Claude est à 29 € jusqu'au 30 novembre 2026, puis 39 €.
Sur le même sujet
- Fichier llms.txt : c'est quoi et faut-il en créer un ?
- Comment être recommandé par ChatGPT (GEO)
- Search Console pour débutant : les 5 rapports utiles
Tout le dossier : Claude en entreprise, les guides et les questions fréquentes.
Questions fréquentes.
Bloquer GPTBot empêche-t-il d'apparaître dans ChatGPT ?
Non, selon OpenAI. GPTBot sert à l'entraînement ; l'apparition dans la recherche de ChatGPT dépend d'OAI-SearchBot. Les deux se règlent séparément dans robots.txt.
Comment sortir des AI Overviews de Google ?
Les AI Overviews utilisent Googlebot. Pour limiter ce qui est repris d'une page, Google indique les balises nosnippet, data-nosnippet, max-snippet ou noindex. Bloquer Google-Extended n'a pas d'effet sur la recherche.
Les robots IA respectent-ils vraiment robots.txt ?
OpenAI et Anthropic déclarent le respecter pour leurs robots d'exploration. OpenAI précise que ChatGPT-User, qui agit à la demande d'un utilisateur, peut ne pas suivre ces règles. Robots.txt reste un signal, pas une protection technique.
Faut-il bloquer les robots IA sur un site d'entreprise ?
Pour une entreprise qui cherche des clients, bloquer les robots de recherche des assistants réduit ses chances d'être citée. Bloquer seulement l'entraînement est un choix de principe qui, selon les fournisseurs, ne retire pas des réponses.
Où se trouve le fichier robots.txt ?
À la racine du domaine : votresite.fr/robots.txt. Chaque sous-domaine a le sien. Sur un CMS, il est souvent géré par l'extension SEO ou par les réglages de l'hébergeur.