Qu'est-ce que la fréquence de crawl ?
La fréquence de crawl (crawl rate) désigne le rythme auquel Googlebot visite et analyse les pages d'un site web. Cette fréquence n'est pas uniforme : elle dépend de l'autorité du site, de la fraîcheur du contenu et de la qualité technique.
Un site d'actualités publiant 50 articles/jour sera crawlé beaucoup plus fréquemment qu'un site vitrine de 10 pages mis à jour annuellement. Google détermine automatiquement la fréquence optimale pour chaque site.
Facteurs influençant la fréquence de crawl
| Facteur | Impact positif | Impact négatif |
|---|---|---|
| Autorité du site | DR élevé, beaucoup de backlinks | Site nouveau, peu de liens |
| Fraîcheur du contenu | Publication régulière | Site statique, mises à jour rares |
| Performance serveur | Réponses rapides (< 200ms) | Erreurs 5xx, temps de réponse lent |
| Taille du site | Plus de pages = plus de crawl total | Pages de faible qualité gaspillent le budget |
| Sitemap XML | Sitemap à jour signalant les nouveautés | Sitemap absent ou obsolète |
| Maillage interne | Pages bien liées, architecture plate | Pages orphelines, profondeur excessive |
Fréquence de crawl vs crawl budget
Il ne faut pas confondre ces deux notions : la fréquence concerné le rythme des visites (combien de fois Googlebot revient), tandis que le crawl budget concerné le nombre total de pages que Googlebot est prêt à explorer lors d'une session.
Pour les petits sites (moins de 1 000 pages), la fréquence de crawl est rarement un problème. En revanche, pour les grands sites e-commerce ou les sites de contenu massif, optimiser cette fréquence devient un levier SEO important pour s'assurer que les nouvelles pages sont prises en compte rapidement par Google.
Termes liés
- CrawlProcessus par lequel les robots de Google (Googlebot) parcourent et analysent les pages d'un site web.
- Crawl BudgetNombre de pages que Googlebot va explorer sur votre site lors d'une session de crawl donnée.
- Robots.txtFichier placé à la racine d'un site web qui indique aux robots des moteurs de recherche quelles pages explorer ou ignorer.
- Sitemap XMLFichier XML listant toutes les URLs importantes d'un site pour faciliter leur découverte par les moteurs de recherche.
Comment influencer la fréquence de crawl