Dans cet article :

    L’importance du fichier robots.txt en SEO

    Le fichier robots.txt est un fichier texte utilisé en SEO. Il est destiné aux robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site.

     

     

    Malgré cela, l’importance du fichier robots.txt est parfois sous-estimée. Voici cependant une information importante à ce sujet. Un employé de Google vient en effet d’indiquer que si votre site dispose d’un fichier robots.txt, et que ce dernier n’est pas lisible par Google (donc si le code http renvoyé n’est ni 200 ni 404), alors le robot cessera tout simplement de crawler le site.

    N’oubliez donc pas de vérifier si votre fichier renvoi bien un code 200. Notez que, si vous n’en avez pas, cela ne posera pas de problème spécifique (code 404).  Votre site sera ainsi entièrement lisible par l’ensemble des différents robots des différents moteurs.

    Source : Search Engine Roundtable

    Nouveau call-to-action

    L'auteur
    Paul Raimond
    Paul Raimond

    Responsable Technique de l'agence PumpUp Nord. Passionné par le Search payant et naturel, j'interviens régulièrement en formation sur ces problématiques. Soucieux de conjuguer visibilité et rentabilité, mes méthodes de travail se basent exclusivement sur la lecture de la data associée à la spécificité de chaque Business Model.

    Pour aller plus loin