Vous avez aimé cet article ? Partagez-le ! ♡
Google vient de mettre à jour sa documentation officielle pour clarifier la confusion autour de ses robots d’exploration. Désormais, il y a trois catégories distinctes : Robots communs (Googlebot), Special-case crawlers et User-triggered fetchers.
L’ajout le plus intéressant est la catégorie « User-triggered fetchers », qui englobe les robots activés par les utilisateurs pour des fonctions spécifiques, tels que Feedfetcher, Google Publisher Center, Google Read Aloud et Google Site Verifier.
La catégorie « GoogleUserContent » a été officialisée, mettant fin à des années de rumeurs sur de prétendus bots malveillants se faisant passer pour Google.
Les User-triggered fetchers, tels que Google Site Verifer, ignorent généralement les règles du fichier robots.txt puisqu’ils sont déclenchés par les utilisateurs eux-mêmes.
Cette mise à jour clarifie la situation et aidera les SEO à mieux comprendre les différents types de robots de Google et leurs fonctionnements respectifs.
