Vous avez aimé cet article ? Partagez-le ! ♡
Google vient de mettre à jour sa documentation officielle pour clarifier la confusion autour de ses robots d’exploration. Désormais, il y a trois catégories distinctes : Robots communs (Googlebot), Special-case crawlers et User-triggered fetchers.
L’ajout le plus intéressant est la catégorie “User-triggered fetchers”, qui englobe les robots activés par les utilisateurs pour des fonctions spécifiques, tels que Feedfetcher, Google Publisher Center, Google Read Aloud et Google Site Verifier.
La catégorie “GoogleUserContent” a été officialisée, mettant fin à des années de rumeurs sur de prétendus bots malveillants se faisant passer pour Google.
Les User-triggered fetchers, tels que Google Site Verifer, ignorent généralement les règles du fichier robots.txt puisqu’ils sont déclenchés par les utilisateurs eux-mêmes.
Cette mise à jour clarifie la situation et aidera les SEO à mieux comprendre les différents types de robots de Google et leurs fonctionnements respectifs.
