Fréquence de crawl
Rythme auquel les robots des moteurs de recherche explorent et réindexent les pages d'un site web.
Qu'est-ce que la fréquence de crawl ?
La fréquence de crawl (crawl rate) désigne le rythme auquel Googlebot visite et analyse les pages d'un site web. Cette fréquence n'est pas uniforme : elle dépend de l'autorité du site, de la fraîcheur du contenu et de la qualité technique.
Un site d'actualités publiant 50 articles/jour sera crawlé beaucoup plus fréquemment qu'un site vitrine de 10 pages mis à jour annuellement. Google détermine automatiquement la fréquence optimale pour chaque site.
Facteurs influençant la fréquence de crawl
Facteurs déterminants de la fréquence de crawl
| Facteur | Impact positif | Impact négatif |
|---|---|---|
| Autorité du site | DR élevé, beaucoup de backlinks | Site nouveau, peu de liens |
| Fraîcheur du contenu | Publication régulière | Site statique, mises à jour rares |
| Performance serveur | Réponses rapides (< 200ms) | Erreurs 5xx, temps de réponse lent |
| Taille du site | Plus de pages = plus de crawl total | Pages de faible qualité gaspillent le budget |
| Sitemap XML | Sitemap à jour signalant les nouveautés | Sitemap absent ou obsolète |
| Maillage interne | Pages bien liées, architecture plate | Pages orphelines, profondeur excessive |
Comment influencer la fréquence de crawl
- Google Search Console : soumettez les nouvelles pages via l'outil d'inspection d'URL pour un crawl prioritaire
- Sitemap XML à jour : aidez Googlebot à découvrir rapidement les nouvelles pages et modifications
- Publication régulière : un flux constant de contenu frais incite les robots à revenir plus souvent
- Maillage interne efficace : facilitez la découverte des pages profondes en les reliant aux pages de haute autorité
- Performance serveur : un serveur rapide permet à Googlebot de crawler plus de pages par session
Fréquence de crawl vs crawl budget
Il ne faut pas confondre ces deux notions : la fréquence concerné le rythme des visites (combien de fois Googlebot revient), tandis que le crawl budget concerné le nombre total de pages que Googlebot est prêt à explorer lors d'une session.
Pour les petits sites (moins de 1 000 pages), la fréquence de crawl est rarement un problème. En revanche, pour les grands sites e-commerce ou les sites de contenu massif, optimiser cette fréquence devient un levier SEO important pour s'assurer que les nouvelles pages sont prises en compte rapidement par Google.
Termes liés
Crawl
Processus par lequel les robots de Google (Googlebot) parcourent et analysent les pages d'un site web.
Crawl Budget
Nombre de pages que Googlebot va explorer sur votre site lors d'une session de crawl donnée.
Robots.txt
Fichier placé à la racine d'un site web qui indique aux robots des moteurs de recherche quelles pages explorer ou ignorer.
Besoin d'un expert SEO ?
Passez de la théorie à la pratique. Discutons de votre stratégie de référencement naturel.
Réserver un appel stratégique