Glossaire — seo-technique
Crawl
L'exploration d'un site par les robots des moteurs de recherche (ex. Googlebot) pour en découvrir les pages.
Le crawl désigne l’exploration automatisée d’un site web par les robots des moteurs de recherche (Googlebot pour Google) qui suivent les liens de page en page pour découvrir du contenu.
Une page qui n’est jamais crawlée ne peut pas être indexée. Le crawl est influencé par le maillage interne, le sitemap XML, le robots.txt et le budget de crawl alloué à votre site.
Voir la page SEO technique pour le détail des enjeux liés au crawl.