Les différents robots de Google
- Googlebot Smartphone : le robot principal pour la grande majorité des sites
- Googlebot Desktop : utilisé plus ponctuellement
- Googlebot Image et Video : dédiés aux fichiers multimédias
- Google-Extended : jeton qui permet de refuser l'utilisation de son contenu pour entraîner certains modèles d'IA de Google, sans impact sur le référencement
Bien recevoir Googlebot
- Un serveur rapide et stable : les erreurs et lenteurs font baisser le rythme d'exploration
- Un robots.txt qui bloque les zones inutiles sans bloquer les ressources nécessaires
- Un sitemap XML à jour
- Méfiez-vous des faux Googlebot : le nom du robot est facile à usurper, Google publie les plages d'adresses IP officielles pour le vérifier
Termes liés
- CrawlProcessus par lequel les robots de Google (Googlebot) parcourent et analysent les pages d'un site web.
- Robots.txtFichier placé à la racine d'un site web qui indique aux robots des moteurs de recherche quelles pages explorer ou ignorer.
- Crawl BudgetNombre de pages que Googlebot va explorer sur votre site lors d'une session de crawl donnée.
- Index Mobile-FirstApproche d'indexation de Google qui utilise la version mobile d'un site comme référence principale pour le classement et l'indexation.