Disponible
robots.txt : que dit ce fichier aux robots des moteurs ?
Un petit fichier texte à la racine du site, souvent oublié, qui peut pourtant rendre un site entier invisible.
Le robots.txt est un fichier texte placé à la racine d'un site, à l'adresse /robots.txt, qui indique aux robots d'exploration quelles adresses ils peuvent visiter. Il sert surtout à éviter de surcharger le serveur. Il ne cache pas une page de Google et ne protège aucune donnée.
En bref
- Norme officielle : RFC 9309 (Robots Exclusion Protocol), publiée en septembre 2022.
- Toujours à l'adresse /robots.txt, en minuscules, encodé en UTF-8.
- Ce n'est pas une mesure de sécurité : les robots qui le respectent le font volontairement.
- Pour exclure une page des résultats, on utilise noindex, pas robots.txt.
À quoi sert le fichier robots.txt ?
Google le présente comme le fichier qui indique aux robots d'exploration les adresses auxquelles ils peuvent accéder sur votre site, principalement pour éviter de surcharger le serveur de requêtes [1].
Depuis septembre 2022, le protocole est décrit par la norme RFC 9309 de l'IETF. Le fichier doit se trouver à l'adresse /robots.txt, au premier niveau du site, avec un nom tout en minuscules, encodé en UTF-8 et servi comme texte brut [2].
Comment les règles sont-elles lues ?
Le fichier est découpé en groupes. Chaque groupe commence par une ou plusieurs lignes user-agent, qui nomment les robots visés, suivies de règles allow (autoriser) ou disallow (interdire) [2].
Pour une adresse donnée, le robot retient la règle la plus spécifique, c'est-à-dire celle dont le chemin correspond sur le plus de caractères. Si une règle allow et une règle disallow sont équivalentes, allow devrait l'emporter. Si aucune règle ne correspond, l'adresse est permise [2].
| Règle | Adresse demandée | Résultat |
|---|---|---|
| Disallow: /admin/ | /admin/factures | Interdite |
| Disallow: /admin/ et Allow: /admin/aide | /admin/aide | Permise : la règle allow est plus longue |
| Aucune règle sur /services/ | /services/thermopompe | Permise |
| Disallow: / | toutes les adresses | Tout le site est interdit au robot visé |
Logique de correspondance la plus longue décrite dans la RFC 9309 [2].
Pourquoi robots.txt ne cache-t-il pas une page ?
Google est explicite : robots.txt n'est pas un mécanisme pour garder une page hors de Google. Une adresse interdite peut quand même être indexée si d'autres sites y font des liens, et son adresse peut alors s'afficher dans les résultats. Pour exclure une page, il faut une directive noindex ou une protection par mot de passe [1].
La norme le répète : ces règles ne constituent pas une forme d'autorisation d'accès [2]. Un robot mal intentionné peut simplement les ignorer. Ne comptez jamais sur robots.txt pour protéger des soumissions, des factures ou des dossiers clients.
Il ne sert pas non plus à choisir la version principale d'une page en double : Google déconseille d'utiliser robots.txt pour cela et recommande la balise canonique [4].
Que se passe-t-il si le fichier est absent ou en erreur ?
Peut-on y indiquer le sitemap ?
Oui. Le protocole sitemaps.org permet d'ajouter une ligne « Sitemap: » suivie de l'adresse complète du sitemap XML, à n'importe quel endroit du fichier, et d'en inscrire plusieurs [3]. C'est une façon simple de signaler le plan du site à tous les moteurs.
Quelles erreurs de robots.txt coûtent le plus cher ?
- Mettre en ligne le « Disallow: / » de l'environnement de test lors du lancement du nouveau site.
- Bloquer les fichiers CSS ou les images dont la page a besoin pour s'afficher correctement.
- Interdire une page pour la retirer de Google, ce qui empêche le robot de voir la directive noindex.
- Croire qu'une page « secrète » listée en disallow est protégée : le fichier est public et la révèle.
- Laisser le serveur répondre par une erreur 5xx sur /robots.txt.
Que fait Pilotiko avec robots.txt ?
Pour le site d'entreprise qu'il construit et héberge, Pilotiko génère le fichier robots.txt en même temps que le plan du site, les données structurées et le fichier llms.txt. C'est une base de référencement naturel ; il ne remplace pas une vraie protection des pages privées.
Questions fréquentes
Où doit se trouver le fichier robots.txt ?
À la racine du site, à l'adresse exacte /robots.txt, en minuscules. Un fichier placé dans un sous-dossier n'est pas pris en compte par les robots.
robots.txt peut-il retirer une page de Google ?
Non. Une page interdite peut rester indexée si d'autres sites y font des liens. Pour la retirer, utilisez une directive noindex, et laissez le robot accéder à la page pour qu'il la lise.
Mon site a-t-il besoin d'un robots.txt ?
Ce n'est pas obligatoire : selon la RFC 9309, si le fichier est absent (réponse 404), le robot peut explorer tout le site. Un fichier simple reste utile pour indiquer le sitemap et écarter les sections techniques.
Tous les robots respectent-ils robots.txt ?
Non. Google rappelle que d'autres robots peuvent l'ignorer, et la norme précise que ces règles ne sont pas une autorisation d'accès. Les données sensibles doivent être protégées autrement.
Combien de temps faut-il pour qu'une modification soit prise en compte ?
La RFC 9309 indique que les robots ne devraient pas utiliser une copie en cache plus de 24 heures, sauf si le fichier est inaccessible. Une modification peut donc prendre jusqu'à une journée à être lue.
Quelle différence entre robots.txt et llms.txt ?
Le robots.txt donne des règles d'accès aux robots d'exploration. Le llms.txt est une proposition distincte qui résume le contenu d'un site pour les modèles de langage ; il ne bloque ni n'autorise rien.
Sources
- Google Search Central, Présentation du fichier robots.txt (consulté le 15 octobre 2026).
- IETF (RFC Editor), RFC 9309 : Robots Exclusion Protocol (consulté le 15 octobre 2026).
- sitemaps.org, Sitemaps XML format (consulté le 15 octobre 2026).
- Google Search Central, Spécifier une URL canonique avec rel="canonical" et d'autres méthodes (consulté le 15 octobre 2026).
À lire ensuite
Sitemap XML : à quoi sert le plan du site pour les moteurs ?
Sitemap XML : le fichier qui liste les pages d'un site pour les moteurs de recherche. Balises, limites officielles, exemple pour une PME et erreurs à éviter.
Balise canonique : comment indiquer la bonne version d'une page ?
La balise canonique indique à Google quelle adresse privilégier parmi des pages en double. Méthodes, force des signaux, calcul d'exemple et erreurs fréquentes.
llms.txt : à quoi sert ce fichier pour les modèles de langage ?
Le fichier llms.txt expliqué : qui l'a proposé, sa structure en Markdown, un exemple pour une PME de services du Québec et ce qu’il ne fait pas pour vous.
SEO : qu'est-ce que le référencement naturel ?
Le SEO, ou référencement naturel, expliqué simplement : ce qu'il couvre, un exemple chiffré pour une PME de services du Québec et les erreurs à éviter.