Comment éditer le fichier robots.txt en utilisant Yoast SEO pour WordPress

Ouvrir l’index du contenu

Ce guide a été mis à jour le

Dans cet article, je veux vous montrer comment éditer le fichier robots.txt en utilisant Yoast SEO.

Tout d’abord, clarifions ce qu’est le fichier robots.txt et à quoi il sert.

Robots.txt est un fichier texte que les webmasters créent pour indiquer aux robots d’exploration ou aux robots araignée comment analyser les pages de leur site web. Fondamentalement, ils disent aux robots ce qu’ils doivent indexer, ce qu’ils doivent éviter et, si nécessaire, ils leur disent de commencer à indexer le site un peu tard. Le fichier explique également comment traiter les liens sur le site, en les classant dans la catégorie « suivre » ou « ne pas suivre ».

Ce type de fichier utilise une syntaxe particulière, que nous verrons dans un instant. En résumé, le fichier robots.txt indique aux agents utilisateurs (robots) s’ils peuvent (Permettre) ou non (Disallow) indexer les différentes parties du site.

Puisqu’ils influencent la façon dont les moteurs de recherche « voient » votre site et comment ils le présentent aux utilisateurs, les fichiers robots.txt sont liés au référencement.

Modifier le fichier robots.txt en utilisant Yoast SEO

Il y a deux façons d’éditer le fichier robots.txt en utilisant Yoast SEOen le faisant sur le babillard WordPress ou au niveau du serveur. Si le fichier robots.txt n’est pas modifiable, ou si cette fonction a été désactivée lors de l’installation de WordPress, la modification de la carte peut échouer. Dans ce cas, vous devrez éditer le fichier au niveau du serveur.

Créer ou modifier via le tableau d’affichage WordPress

Après vous être connecté à votre site WordPress, avoir installé et activé Yoast SEO, cliquez sur le menu RÉFÉRENCEMENT dans la barre latérale à gauche de l’écran.

Comment éditer le fichier robots.txt en utilisant Yoast SEO pour WordPress

Cliquez sur Outilspuis sur Modifier le fichier.

Comment éditer le fichier robots.txt en utilisant Yoast SEO pour WordPress

Cette option devrait être disponible à moins que vous n’ayez désactivé l’édition des fichiers. Si vous ne le trouvez pas, vous devrez l’activer ou modifier le fichier robots.txt via le serveur.

Si le fichier n’est pas déjà présent, vous pouvez le créer en cliquant sur le bouton approprié Créer le fichier robots.txt.

Maintenant vous pouvez éditer le fichier robots.txt en utilisant Yoast SEO, directement depuis WordPress.

Comment éditer le fichier robots.txt en utilisant Yoast SEO pour WordPress

Cliquez sur Enregistrer les modifications apportées à Robots.txt pour sauvegarder les modifications.

Si vous avez rencontré des problèmes ou des doutes sur cette étape et que vous ne savez pas comment les résoudre, contactez-nous et activez le support WordPress. Nous serons heureux de vous aider.

Création ou modification via le serveur

Dans certains cas, comme je l’ai expliqué précédemment, il peut ne pas être possible d’éditer le fichier robots.txt en utilisant Yoast. Lorsque le site racine ne contient pas de fichier robots.txt, un fichier robots.txt virtuel est généré par WordPress. Vous pouvez l’écraser en créant un fichier texte avec un éditeur comme NotePad+++ ou le simple Bloc-notes Windows.

Créez un fichier texte simple (avec l’extension.txt) et enregistrez-le sous le nom robots.txt.

Faites attention au nom, qui doit être exactement robots.txt, car les robots sont sensibles à la casse et ne reconnaîtront qu’un fichier avec ce nom exact.

Charge le fichier à la racine du serveur. Je vais expliquer pourquoi c’est un autre point très important. Lors de la visite d’un site Web, les robots recherchent le fichier robots.txt à un endroit précis : le répertoire racine. Si un bot (appelé agent utilisateur) ne trouve pas le fichier robots.txt dans le répertoire racine (qui correspond généralement au domaine racine ou à la page d’accueil), suppose que le site ne contient aucun fichier.

Comme je l’ai déjà expliqué, ne pas trouver d’instructions là où il regarde (donc www.tuosito.it/robots.txtle bot va procéder à l’exploration et à l’indexation de tout le contenu du site, sans rien exclure. Même si le fichier robots.txt existe, mais qu’il est au mauvais endroit (par exemple à l’adresse www.tuosito.it/homepage/robots.txt), ou a un mauvais nom, le bot l’ignorera parce qu’il ne sera pas capable de le reconnaître.

Si WordPress bloquait l’accès au fichier virtuel, vous devriez pouvoir éditer le fichier robots.txt en utilisant Yoast SEO, en suivant la procédure que j’ai expliquée précédemment.

Comment interpréter la syntaxe du fichier robots.txt

Une des choses intéressantes à propos du fichier robots.txt est qu’il s’agit d’un fichier public, donc vous pouvez aller voir ce que font les sites célèbres et étudier les trucs qu’ils utilisent pour améliorer cet aspect du référencement. Par exemple, vous pouvez regarder le fichier Moz.com et même le fichier Google.

Comment éditer le fichier robots.txt en utilisant Yoast SEO pour WordPress

À première vue, cela peut sembler incompréhensible, mais la syntaxe est assez simple.

La syntaxe du fichier robots.txt : les 3 termes reconnus par tous les robots

Il y a 3 termes que vous trouverez dans la plupart des fichiers que vous devrez apprendre :

  • User-agentCe sont des robots utilisés par les moteurs de recherche et les sites Web. Vous pouvez consulter la liste qui inclut la plupart des user-agents. Google, par exemple, en utilise plusieurs, dont Googlebot pour la recherche de contenu et Googlebot-image pour la recherche d’images. Vous pouvez spécifier le bot auquel les règles s’appliquent, ou utiliser un astérisque pour indiquer que les instructions s’appliquent à tous.
  • Refuserdit au bot de ne pas analyser une URL spécifique. Vous ne pouvez utiliser qu’une seule ligne par URL. Cette règle ne s’applique qu’aux user-agents spécifiés ci-dessus. Laisser la ligne Disallow vide permet à tous les robots d’accéder à toutes les sections de votre site.
    User-agent: *
    Disallow:

    L’exemple ci-dessus indique que tous les robots peuvent accéder à toutes les zones du site. Attention, parce que si vous insérez une barre oblique (comme dans l’exemple ci-dessous) vous empêchez, au lieu de cela, tous les crawlers d’analyser tout le contenu de votre site :

    User-agent: *
    Disallow: /
  • PermettreCette commande indique au bot qu’il peut accéder à une page ou un sous-dossier, même si le père a été exclu. Il s’agit pratiquement d’une exception à l’interdiction d’accès. Cette règle s’applique également uniquement aux user-agents spécifiés ci-dessus.

Robots.txt : 2 instructions supplémentaires non reconnues par tous les robots

Il y a 2 autres directives qui, bien qu’elles ne soient pas universellement suivies par les robots, il est important de les citer et de savoir comment les utiliser :

  • Délai de marche à quatre pattesindique combien de millisecondes un bot doit attendre avant de charger et de scanner le contenu d’une page. Tous les robots ne reconnaissent pas cette directive : Googlebot ignore cette commande, alors que les araignées Yahoo, Bing et Yandex l’utilisent. En réduisant le temps dont disposent ces robots, vous pouvez récupérer une certaine  » bande passante  » (réduisant le nombre de requêtes envoyées au serveur), mais vous diminuerez le nombre de pages explorées quotidiennement. Si votre site est petit et que vous n’obtenez pas beaucoup de trafic de ces sites, la commande ne devrait pas avoir un grand effet négatif sur votre site, mais pour Googlebot, vous pouvez changer la vitesse d’analyse via la console de recherche Google. En général, cela ne devrait pas poser de problème, car le moteur de recherche détermine la vitesse d’analyse optimale à l’aide d’algorithmes complexes.
  • Plan du siteindique au bot où trouver les plans du site au format XML associé à l’URL. Seuls Google, Yahoo, Bing et Ask reconnaissent cette commande.

Les avantages d’ajouter un fichier robots.txt à votre site

Après avoir vu comment ajouter ou modifier le fichier robots.txt de votre site, expliqué comment interpréter les commandes et où les sauvegarder, il faut maintenant comprendre pourquoi il est important d’en avoir un.

Le fichier robots.txt vous permet de :

  1. précisez où se trouvent les sitemaps de votre site ;
  2. empêcher les moteurs de recherche d’indexer certains fichiers sur le site (tels que les graphiques, images ou PDF) ;
  3. garder privées certaines sections de votre site (comme le site de test que vous ou les développeurs avez utilisé pour tester les changements à apporter) ou les pages contenant les résultats des recherches internes ;
  4. empêcher la duplication du contenu d’être inclus dans les résultats des moteurs de recherche. Dans ce cas, cependant, je vous suggère d’utiliser les balises meta que j’ai mentionnées dans le guide du fichier robots.txt, dans la section Robots.txt et SEO;
  5. nécessitent un délai dans l’analyse du site pour éviter une surcharge du serveur lorsque les robots chargent beaucoup de contenu en même temps.

Conseils SEO pour le fichier robots.txt

Puisque le fichier robots.txt a certains avantages pour le référencement, il ya quelques pratiques que je vous recommande de suivre si vous décidez de modifier le fichier robots.txt en utilisant Yoast SEO ou de toute autre manière.

  • Ne bloquez pas le contenu ou les sections que vous souhaitez faire analyser par les moteurs de recherche. Cela semble évident, mais il vaut toujours mieux être prudent que d’endommager la visibilité de votre site.
  • Les liens contenus dans les pages bloquées par robots.txt ne seront pas suivis, donc vous perdrez leur valeur SEO. Imaginez que vous avez une page que vous ne voulez pas voir apparaître dans les résultats de votre recherche. La page, cependant, est souvent liée par d’autres utilisateurs ou sites. Dans ce cas, vous ne devez pas le bloquer via le fichier robots.txt, afin de ne pas perdre la valeur des liens reçus. Utiliser des balises meta comme noindex, follow permettre aux moteurs de recherche de transmettre la valeur des liens vers votre site.
  • Les principaux moteurs de recherche utilisent plusieurs robots, qui suivent les mêmes règles. C’est pourquoi il n’est pas nécessaire de spécifier différentes directives pour chacune d’elles. Cela vous permet, cependant, de modifier la façon dont chaque robot analyse le site.
  • N’utilisez pas le fichier robots.txt pour empêcher les données sensibles (telles que les informations utilisateur) d’aboutir dans les résultats de recherche. Étant donné que d’autres pages peuvent contenir des liens vers des sections où ces informations sensibles sont présentes, les pages peuvent également être indexées. Dans ces cas, vous pouvez protéger vos informations avec un mot de passe ou en utilisant des balises noindex. Lisez dans ce guide comment cacher les pages et les messages de votre site. Rappelez-vous que le fichier robots.txt est public, n’incluez jamais d’informations privées !
  • Les moteurs de recherche cachent généralement les fichiers robots.txt au moins une fois par jour.
    Comment éditer le fichier robots.txt en utilisant Yoast SEO pour WordPress
    Pour accélérer la mise à jour, vous pouvez envoyer la nouvelle version de robots.txt à Google via la console de recherche.
Comment éditer le fichier robots.txt en utilisant Yoast SEO pour WordPress

Conclusion

Modifier le fichier robots.txt peut sembler compliqué, mais avec soin et pratique, vous pouvez l’utiliser pour contrôler l’accès des robots au contenu de votre site Web. Comme nous l’avons vu, vous devez faire attention à ne pas faire d’erreurs, par exemple en empêchant accidentellement Google de scanner l’ensemble du site.

L’édition du fichier robots.txt à l’aide de Yoast SEO est très simple. Cependant, nous devons être prudents et suivre les conseils sur la syntaxe et les pratiques à suivre pour améliorer le référencement.

Sur la base de ces informations, vous pouvez vous demander si vous avez toujours besoin d’un fichier robots.txt pour votre site. La réponse dépend de vos besoins. Si vous voulez que les robots scannent et indexent toutes les zones de votre site Web, vous n’en avez peut-être pas besoin. Si vous avez des doutes sur le référencement, vous pouvez consulter les ressources de référencement sur notre site web ou réserver un appel gratuit pour en savoir plus sur le conseil en référencement que nous offrons à nos utilisateurs.

Votre site a-t-il déjà un fichier robots.txt ?

Avez-vous essayé d’éditer le fichier robots.txt en utilisant Yoast SEO ?

Partagez votre expérience ou envoyez-nous vos questions en utilisant la section commentaires ci-dessous.

Partager l'article :

Facebook
Twitter
Pinterest
LinkedIn

כתיבת תגובה

האימייל לא יוצג באתר.

Continuer votre lecture