Crawl Budget

Le crawl budget représente le nombre de pages que Googlebot est dispose à explorer sur votre site au cours d'une période donnée. C'est une ressource finie dont l'optimisation est cruciale pour s'assurer que Google explore en priorité vos pages les plus stratégiques.

• Crawl rate limit (limite de capacite) : vitesse maximale a laquelle Googlebot peut explorer votre site sans dégrader l'expérience utilisateur. Reduite automatiquement si le serveur est lent ou retourne des erreurs
• Crawl demand (demande de crawl) : reflète l'intérêt de Google pour vos pages. Un contenu populaire, fréquemment mis à jour ou nouvellement découvert sera crawlé plus souvent

Pour les petits sites (moins de quelques milliers de pages), le crawl budget est rarement un problème. En revanche, pour les grands sites e-commerce, les placés de marche ou les sites média, c'est un enjeu SEO majeur.

• Eliminer les pages à faible valeur : noindex ou canonical sur les pages de filtrés, paramètres UTM et pagination superflue
• Améliorer la vitesse serveur : un TTFB sous 200 ms permet à Googlebot de crawler plus de pages
• Robots.txt intelligent : bloquer l'accès aux répertoires sans valeur SEO
• Sitemap XML a jour : n'incluez que vos URLs stratégiques
• Corriger les erreurs HTTP : les 404 et 500 gaspillent du budget inutilement
• Réduire les chaînes de redirections : chaque redirection consomme du crawl budget