Robots.txt

Qu'est-ce que robots.txt ?

Le fichier robots.txt est un document texte qui sert de recommandation pour les moteurs de recherche. Il permet aux propriétaires de sites de gérer quelles pages et sections de leur ressource peuvent être indexées par les robots d'exploration. Ce fichier est placé dans le répertoire racine du site et contient des indications qui peuvent soit autoriser, soit interdire l'exploration de certaines pages. Cela est important pour garantir une indexation correcte et l'optimisation du site, afin d'éviter l'apparition d'informations confidentielles dans les résultats de recherche.

À quoi sert robots.txt ?

L'objectif principal de l'utilisation du fichier robots.txt est d'indiquer aux moteurs de recherche quelles pages doivent être explorées et lesquelles doivent être ignorées. Si ces règles ne sont pas spécifiées, les robots d'exploration peuvent indexer le site à leur discrétion, ce qui peut entraîner des conséquences indésirables, telles que l'indexation de pages de service ou de contenu dupliqué. Cela peut, à son tour, nuire à l'optimisation SEO et à la promotion de la ressource, car les moteurs de recherche peuvent ne pas reconnaître les pages importantes.

De plus, le fichier robots.txt aide à réduire la charge sur le serveur en limitant le nombre de requêtes, ce qui améliore également la performance globale du site. Bien que le fichier ne soit pas obligatoire, de nombreux spécialistes SEO recommandent son utilisation dans le cadre de l'optimisation interne et externe.

Comment créer robots.txt ?

Créer un fichier robots.txt ne nécessite pas de compétences particulières et peut être effectué avec n'importe quel éditeur de texte, par exemple, le "Bloc-notes" sous Windows ou TextEdit sous macOS. Cependant, il est important de respecter certaines règles de formatage :

• Le nom du fichier doit être robots.txt;
• Le fichier doit être au format texte (txt) ;
• Le codage du fichier est UTF-8.

Après avoir créé un fichier vide, il peut être téléchargé sur le site. Par défaut, il sera considéré comme autorisant. Pour gérer l'indexation, il est nécessaire de spécifier des règles pour des pages spécifiques. En général, l'accès est restreint aux pages qui ne sont pas destinées au public, telles que les pages de connexion, les panneaux d'administration et les répertoires techniques.

Directives robots.txt

Les directives robots.txt sont des commandes qui indiquent aux robots de recherche comment interagir avec le site. Chaque groupe de règles commence par la directive User-agent, qui indique à quel robot spécifique les indications suivantes s'adressent. Par exemple :

User-agent: Googlebot

Après la directive User-agent, il y a des indications qui peuvent inclure les directives Disallow et Allow. La directive Disallow est utilisée pour interdire l'indexation de certaines pages ou répertoires, tandis que Allow autorise l'indexation. Par exemple, pour interdire l'indexation de l'ensemble du site, on peut utiliser l'entrée suivante :

User-agent: *
Disallow: /

Symboles spéciaux dans robots.txt

Dans le fichier robots.txt, il est également possible d'utiliser des symboles spéciaux qui précisent les règles pour les robots de recherche :

• * — un symbole qui interdit l'indexation d'une page à l'adresse spécifiée ;
• # — utilisé pour ajouter des commentaires qui sont ignorés par les robots ;
• $ — placé à la fin de l'URL pour annuler l'effet du symbole spécial *.

Ces symboles aident à configurer le fichier de manière plus précise, empêchant l'indexation de pages indésirables et protégeant le contenu important.

Comment charger et vérifier robots.txt ?

Après avoir créé le fichier robots.txt, il doit être téléchargé dans le répertoire racine du site. Le mode de téléchargement dépend de l'architecture du site et du serveur utilisé. Après le téléchargement, il est important de vérifier l'accessibilité du fichier en entrant dans la barre d'adresse le format suivant :

https://votre_site.com/robots.txt

Pour vérifier le bon fonctionnement du fichier, vous pouvez utiliser les outils des moteurs de recherche, tels que Google Search Console pour Google et Yandex Webmaster pour Yandex.

Erreurs courantes dans la configuration du fichier robots.txt

Certaines erreurs courantes dans la configuration du fichier robots.txt peuvent entraîner son dysfonctionnement. Voici quelques-unes d'entre elles :

• Directive User-agent vide — pas d'indication pour quels robots les règles sont destinées ;
• Absence du symbole / ou * au début des règles Disallow ou Allow ;
• Enregistrement Disallow: / pour un site actif, ce qui entraîne un blocage total de l'indexation ;
• Absence du signe : entre la directive et la règle, ce qui les rend incompréhensibles pour les robots.

Comment les moteurs de recherche comprennent le fichier robots.txt ?

Les moteurs de recherche, tels que Google et Yandex, peuvent interpréter le fichier robots.txt de différentes manières. Yandex suit strictement les indications, et si une page est fermée par la directive Disallow, elle ne sera pas explorée. Google, en revanche, considère la directive Disallow plus comme une recommandation que comme une interdiction. Cela signifie que pour protéger les pages confidentielles, il est recommandé d'utiliser des méthodes supplémentaires, telles que des mots de passe ou des directives noindex.