Partie faussement importante de la stratégie de référencement

Le bot Instagram Français

Partie faussement importante de la stratégie de référencement

Quand j'ai entendu le terme robots.txt, je ne savais pas ce que cela voulait dire. Instinctivement, j'imagine R2D2 dans "Star Wars" "Quel est le lien entre le robot et le référencement?"

Si vous êtes comme moi, le référencement technique n'est pas toujours facile à comprendre.

Mais dans une étude sur la seoClarity et BuzzStream menée auprès de 240 experts en référencement, 59% des personnes interrogées ont déclaré que l'optimisation du champ technologique constituait la stratégie de référencement la plus efficace.

Ainsi, que nous le comprenions ou non, le référencement technique continuera à jouer un rôle important dans notre stratégie marketing.

Vous trouverez ci-dessous un aperçu de ce qu'est un fichier robots.txt et de son utilisation dans votre stratégie. Il explique également comment créer, ajouter et modifier des fichiers robots.txt sur votre site.

Améliorez votre site web avec un référencement technique efficace. Commencez par effectuer cet audit.

Qu'est-ce qu'un fichier robots.txt?

Le fichier robots.txt indique aux moteurs de recherche comment analyser et indexer les pages de votre site. Cela est important car les moteurs de recherche peuvent permettre aux utilisateurs d’analyser votre site, d’indexer votre contenu et de rechercher ces informations. Vous pouvez autoriser ou non les moteurs de recherche à partir des pages d'indexation. Avant que le moteur de recherche n’analyse votre site, il recherche dans votre fichier robots.txt des instructions.

A l'instar des aspects techniques du référencement, le fichier robots.txt a son propre langage. Voici quelques termes clés et leur signification:

  • Agent utilisateur: moteur de recherche.
  • Ne pas autoriser: indique aux moteurs de recherche de ne pas analyser certaines URL.
  • Autoriser: permet aux moteurs de recherche d'accéder aux pages Web.

Vous vous demandez peut-être pourquoi vous devriez cacher certaines pages de mon site ou dire aux moteurs de recherche de ne pas explorer mon site.

En fin de compte, vous voulez que les moteurs de recherche explorent les pages les plus importantes de votre site et vous ne voulez pas être confondu avec des pages non critiques, privées ou similaires.

Regardons la meilleure façon d'utiliser un fichier robots.txt.

1. Gardez les pages de votre site privées.

Avez-vous des pages internes sur votre site? Par exemple, les utilisateurs peuvent se connecter au site et voir les informations de la porte. Vous pouvez également demander à vos employés de se connecter à votre site pour afficher des informations sur les ressources humaines. Quoi qu'il en soit, vous devez rendre cette page de votre site privée. En d'autres termes, vous devez empêcher cette page d'apparaître dans les moteurs de recherche. Cela peut empêcher les moteurs de recherche d'analyser la page dans votre fichier robots.txt.

De même, si vous créez un site de test pour votre client, les moteurs de recherche n'ont pas besoin d'analyser ou d'indexer ce site. En fait, le client veut seulement voir ce site. Pour ce faire, vous devez empêcher les moteurs de recherche d’indexer ces pages.

2. Empêcher les moteurs de recherche d’indexer les fichiers.

Parfois, vous pouvez ajouter des fichiers PDF ou autres sur votre site pour que les utilisateurs puissent les télécharger. Il peut également y avoir du contenu en double sur les sites que vous souhaitez réutiliser à des fins de marketing. Cependant, la plupart des moteurs de recherche ne veulent pas indexer ces fichiers. Vous pouvez ajouter une page à votre fichier robots.txt pour empêcher l'analyse.

3. Autorisez les moteurs de recherche à explorer toutes les pages de votre site.

Vous n'avez pas besoin d'un fichier robots.txt, mais si vous souhaitez que les moteurs de recherche explorent toutes les pages, fournir des instructions peut accélérer le processus. Vous pouvez facilement créer un fichier robots.txt qui indique aux moteurs de recherche d'analyser toutes les pages de votre site.

4. Empêchez les moteurs de recherche d’analyser des pages spécifiques ou des sites entiers.

Parfois, vous ne voudrez peut-être pas que les moteurs de recherche explorent toutes les pages de votre site. Par exemple, lors de la formation des employés HubSpot, les nouveaux employés devront créer un site Web à l'aide des produits HubSpot. Cependant, ces sites sont réservés au projet et les employés ne veulent généralement pas être indexés par les moteurs de recherche. Ils créent donc un fichier robots.txt qui empêche l’exploration de toutes les pages de votre site.

Vous pouvez également bloquer des moteurs de recherche spécifiques sur des pages spécifiques de votre site. Par exemple, vous pouvez étiqueter l'agent utilisateur avec "Google" et ne pas autoriser le contenu personnel.

Si vous ne souhaitez pas que les moteurs de recherche explorent et indexent des pages spécifiques, vous pouvez utiliser un fichier robots.txt pour les informer, mais ne les forcez pas. Cela n'empêche pas le fichier robots.txt d'indexer réellement la page, même si vous indiquez aux moteurs de recherche de ne pas explorer la page. Pour ce faire, vous devez utiliser les directives noindex et nofollow.

Vous pouvez donc vous demander pourquoi vous devez utiliser un fichier robots.txt qui ne peut pas indexer vos pages. La réponse est que le fichier robots.txt permet aux moteurs de recherche d’analyser votre site plus rapidement et de hiérarchiser les pages analysées. Ne bloquez pas techniquement les pages des moteurs de recherche.

Comment créer et ajouter un fichier Robots.txt sur votre site web

La création d'un fichier robots.txt est en réalité un processus simple.

Ouvrez simplement un éditeur de texte tel que TextEdit ou Notepad. Ensuite, vous pouvez copier la langue et la phrase de Google.

Par exemple, le fichier robots.txt ressemble à ceci:

Agent utilisateur: *

Autoriser: /

Vous pouvez définir des agents utilisateurs. L'astérisque signifie n'importe quel moteur de recherche. Vous pouvez ensuite créer "autoriser" ou "interdire" et spécifier la page.

Avant d'ajouter ce fichier sur votre site, vous pouvez le tester à l'aide de notre outil de test.

Après avoir écrit le fichier, vous devez le télécharger dans le répertoire de niveau supérieur de votre site. En d'autres termes, allez dans Cpanel et cliquez sur "Ajouter des fichiers".

Le fichier robots.txt n'est pas pris en charge par tous les moteurs de recherche.

Le fichier Robots.txt est disponible publiquement. En d'autres termes, vous pouvez ajouter /robots.txt à tous vos sites, et si vous avez un fichier de site, vous pouvez voir le fichier de ce site. La plupart des fichiers robots.txt contiennent également l'emplacement du plan de site associé à votre domaine.

Il n'est pas difficile de modifier votre fichier robots.txt. S'il vous plaît suivez ces étapes:

1. Localisez le fichier robots.txt sur votre CMS.

Ce processus est légèrement différent en fonction de votre système de gestion de contenu (CMS). Par exemple, la recherche dans WordPress et HubSpot est deux processus différents. Normalement, allez dans l'éditeur de site Web et cliquez sur "Paramètres". L'onglet SEO apparaîtra. Vous devriez avoir un fichier robots.txt ici.

Si vous n'utilisez pas de système de gestion de contenu pour simplifier ce processus, vous pouvez également vous connecter au site Web de votre compte d'hébergement et accéder à la section "Gestion de fichiers" pour trouver le fichier robots.txt. Ensuite, vous devriez pouvoir l'ouvrir pour le modifier.

2. Supprimez le texte.

Lorsque le fichier s'ouvre, supprimez tout le texte qu'il contient. Oui, c'est tout ce que vous devez faire à ce stade.

3. Ajoutez du texte dans l'éditeur de texte brut.

Enfin, copiez et collez le texte que vous avez créé dans l’éditeur de texte brut. Puis cliquez sur "Enregistrer". C'est fini

Les fichiers techniques SEO et robots.txt semblent plus compliqués qu’ils ne le sont réellement. Aider les moteurs de recherche à explorer rapidement votre site Web peut considérablement améliorer votre classement.

Améliorez votre site web avec un référencement technique efficace. Commencez par effectuer cet audit.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *