Qu'est-ce que l'analyse de logs ?
L'analyse de logs (log file analysis) consiste à étudier les fichiers journaux de votre serveur web pour comprendre exactement comment Googlebot et les autres robots crawlent votre site. C'est la seule méthode qui fournit des données objectives et exhaustives sur le comportement réel des crawlers, sans échantillonnage ni approximation.
Questions auxquelles l'analyse de logs répond
- Quelles pages sont crawlées et a quelle fréquence ? Identifiez les pages ignorées par Google
- Combien de crawl budget est consomme par des pages inutiles (filtrés, pagination, paramètres) ?
- Quels codes HTTP retourne votre serveur (200, 301, 404, 500) lors du passage de Googlebot ?
- Quel user-agent visite votre site ? Distinguez Googlebot desktop, mobile, AdsBot, Bingbot
- Quelle est la vitesse de réponse du serveur pour chaque URL crawlée (TTFB) ?
- Les nouvelles pages sont-elles découvertes rapidement après publication ?
Outils et cas d'usage
| Outil | Type | Point fort |
|---|---|---|
| Screaming Frog Log Analyzer | Desktop | Intégration avec Screaming Frog Spider, rapports croises |
| Oncrawl | SaaS | Visualisations avancées, segmentation par profondeur |
| Botify | SaaS Enterprise | Gros volumes, intégration complète crawl + logs + SERP |
| ELK Stack | Open source | Personnalisation totale, gratuit, nécessite competences DevOps |
Termes liés
- CrawlProcessus par lequel les robots de Google (Googlebot) parcourent et analysent les pages d'un site web.
- Crawl BudgetNombre de pages que Googlebot va explorer sur votre site lors d'une session de crawl donnée.
- Robots.txtFichier placé à la racine d'un site web qui indique aux robots des moteurs de recherche quelles pages explorer ou ignorer.