Extrêmement précieux pour protéger certaines pages de votre site ou en booster d’autres, le fichier robots.txt figure par défaut dans la racine de votre site. Avec les connaissances nécessaires, il est possible de le modifier sans risquer de faire chuter votre SEO. Voici les avantages de bien utiliser un fichier robots.txt sur WordPress et les étapes à suivre pour l’optimiser.
Quels sont les bénéfices d’un fichier Robots.txt?
Bien qu’il ne soit pas obligatoire, il serait mal avisé de s’en passer. Les fichiers robots.txt participent à l’amélioration de votre SEO en indiquant aux crawlers quelles pages afficher dans les résultats de recherche.
Il est possible d’y lister les différents moteurs de recherche, puis de leur autoriser l’indexation des pages que vous jugez pertinentes (“allow”). À l’opposé, on peut le leur interdire pour d’autres (“disallow”). Les crawlers disposent d’un quota de pages à explorer; si votre site possède de nombreuses pages, en faire le tri permettra au crawler de se concentrer sur vos pages les plus importantes.
Par ailleurs, vous pouvez y indiquer la fréquence d’exploration de votre site par les robots. Ce procédé est très utile pour signifier aux crawlers que votre contenu est à jour ou amélioré. À l’inverse, si vous estimez que l’exploration de votre site par les robots se fait trop souvent et nuit à son accessibilité, vous pouvez faire une demande pour freiner ce rythme.
Comment optimiser un Robots.txt sur WordPress
L’optimisation de votre fichier robots.txt doit répondre à vos besoins d’amélioration de votre référencement. Il est donc possible de remplacer le fichier générique de WordPress, par celui que vous rédigerez vous-même.
Pour commencer, il est important de respecter le format d’écriture du fichier robots.txt. Vos blocs doivent toujours commencer par le user-agent en première ligne, et chaque directive nécessite un saut de ligne. Vous ne pouvez pas, par exemple, indiquer une directive “allow” sur la même ligne qu’une directive “disallow”.
Optimisez votre fichier robots.txt pour que les crawlers le comprennent vite. Par exemple, au lieu de lister tous les contenus du même format à ne pas indexer, regroupez-les en les désignant par un astérisque. Dans l’exemple ci-dessous, on évitera de faire la liste des pages “shoes” par catégorie de marque (image 1). Indiquez plutôt que toutes les marques des pages “shoes” sont concernées, avec un astérisque (image 2) :
Si vous désirez structurer votre fichier, vous pouvez y ajouter des annotations. Les robots ne les lisent pas si elles sont précédées du dièse #. Dans l’exemple ci-dessous, le fichier comporte une partie Pages de destination, une section Fichiers et une section Sites web. Cela vous aidera à vous y retrouver pour une consultation future.
Un fichier robots.txt optimal empêche les crawlers de s’intéresser aux données des pages de connexion, et toutes pages contenant de l’information sensible ou privée. À l’inverse, on conseillait auparavant d’interdire l’accès aux fichiers CSS et JavaScript. Cette pratique n’est plus recommandée, car elle peut bloquer l’affichage de pages dont vous désirez l’indexation.
L’utilité du fichier robots.txt dans la stratégie SEO
Bien qu’il puisse paraître complexe au premier abord, le fichier robots.txt peut être aisément maîtrisé et représente même un atout pour votre stratégie de référencement. On vous en dresse un portrait détaillé dans cet article, mais si vous avez besoin d’un accompagnement personnalisé, contactez-nous!