LATEST NEWS
CONTACTS
Blog Référencement Google

10 façons d'optimiser votre budget de crawl pour le référencement

Dans cet article, nous nous concentrons sur les bases du budget de crawl, pourquoi il est important et comment l'optimiser pour booster votre stratégie de référencement.

Logiciel De Référencement Seo Paris

Le crawl budget est un concept qui vivait dans les cercles fermés des consultants SEO depuis une décennie mais qui, heureusement, s'est de plus en plus démocratisé ces dernières années. Pour autant, cela reste un aspect encore trop souvent sous-estimé dans les stratégies SEO.

Bien que la plupart d'entre vous aient déjà entendu parler de ce terme et aient envisagé de s'y intéresser, il peut parfois être difficile d'en identifier les bénéfices pour la visibilité de votre site. Alors oui, il est vrai que parfois certains consultants SEO vous diront de faire l'impasse sur le crawl budget! Mais si votre site est composé de plusieurs milliers de pages (voire beaucoup plus), l'optimisation de votre budget de crawl représentera un véritable tournant pour votre visibilité organique.

Référencement Seo Logo

Qu'est-ce qu'un budget de crawl? Pourquoi les moteurs de recherche attribuent-ils un budget de crawl aux sites Web ?
Comment le budget de crawl est-il attribué aux sites Web ?
Simplifiez l'architecture de votre site
Surveiller le contenu dupliqué
Gérez vos paramètres d'URL
Limitez votre contenu de mauvaise qualité
Liens brisés et mal redirigés
URL incorrectes dans les sitemaps XML
Pages qui se chargent trop lentement
Un nombre élevé de pages non indexables
Mauvais maillage interne
N'oubliez pas le PageRank!

Améliorer Son Référencement

Quel est le budget de crawl?

Le budget de crawl peut être décrit comme le niveau d'attention que les moteurs de recherche accordent à votre site. Ce niveau d'attention est basé sur les ressources allouées par les robots moteurs pour explorer les pages de votre site internet et la fréquence de ces explorations. En gros, la taille de votre site est analysée pour y consacrer un niveau de ressources. Si vous gaspillez votre budget de crawl, les moteurs de recherche ne pourront pas crawler efficacement votre site Web, ce qui finira par nuire à vos performances de référencement.

Salaire Seo Référencement

⚠️ Votre objectif est donc de vous assurer que Google dépense son budget de crawl en crawlant les pages que vous souhaitez voir indexées dans les résultats organiques. Pour cela, évitez de gaspiller ce budget en crawlant des pages inutiles pour votre référencement.

Le Référencement Naturel Ou Seo Designe L’ensemble

Pourquoi les moteurs de recherche allouent-ils un budget de crawl aux sites web?

Les moteurs de recherche ne disposent pas de ressources illimitées et doivent répartir leur attention sur des millions de sites Web. Ils ont donc besoin d'un moyen de hiérarchiser leurs efforts pour naviguer et explorer le Web. L'attribution d'un budget de crawl/crawl à chaque site Web les aide à atteindre cet objectif.

Comment le budget de crawl est-il attribué aux sites Web ?

Cela dépend de deux facteurs : le taux de limite de crawl et la demande de crawl.

Qu’est Ce Qu’un Référencement Seo

Le taux de limite de crawl

Ce taux vise, pour le moteur de recherche, à établir une limite de pages à explorer en même temps pour chaque site. Si le robot d'exploration du moteur de recherche n'avait pas de limite d'exploration, il explorerait simultanément toutes les pages d'un site Web, ce qui pourrait surcharger le serveur et avoir un impact sur l'expérience utilisateur. Les robots des moteurs de recherche sont conçus pour éviter de surcharger un serveur Web avec des requêtes, ils prêtent donc attention à cet aspect. Mais comment les moteurs de recherche déterminent-ils la limite de crawl d'un site Web? Plusieurs facteurs entrent en jeu :

Plate-forme ou serveur médiocre : la fréquence à laquelle les pages explorées renvoient 500 erreurs (de serveur) ou prennent trop de temps à se charger. Le nombre de sites fonctionnant sur le même hébergement : si votre site fonctionne sur une plateforme d'hébergement mutualisé avec des centaines d'autres sites, et que vous avez un site assez volumineux, la limite de crawl de votre site web est très limitée car elle est déterminée au niveau serveur. Vous devez donc partager la limite d'exploration de l'hébergement avec tous les autres sites qui y fonctionnent. Dans ce cas, il est préférable d'utiliser un serveur dédié, ce qui réduira les temps de chargement pour vos visiteurs.

Agence De Référencement Naturel Seo

Demande d'exploration

La demande de crawl/crawl consiste à déterminer l'intérêt de re-crawler (recrawler) une URL. En gros, le moteur de recherche va identifier s'il doit visiter régulièrement certaines pages de votre site. Encore une fois, de nombreux facteurs influencent la demande de crawl, notamment :

Seo Vs Sea

Popularité : le nombre de liens internes et de backlinks pointant vers une URL, mais aussi le nombre de requêtes/mots clés pour lesquels elle se positionne. Fraîcheur : la fréquence à laquelle le contenu de cette page Web est mis à jour. Le type de page : est-ce un type de page susceptible de changer? Prenons par exemple une page de catégorie de produit et une page de termes et conditions. Selon vous, laquelle change le plus souvent et mérite d'être explorée plus fréquemment ?

Pourquoi le budget de crawl est-il essentiel pour votre référencement?

L'objectif est de s'assurer que les moteurs de recherche trouvent et comprennent autant de pages indexables que possible, et le font le plus rapidement possible. Lorsque vous ajoutez de nouvelles pages et mettez à jour des pages existantes, vous souhaitez probablement que les moteurs de recherche les trouvent tout de suite… En effet, plus vite ils ont indexé les pages, plus vite vous pouvez bénéficier en terme de visibilité SEO!

All In One Seo Pack Référencement WordPress

⚠️ Si vous gaspillez votre budget de crawl, les moteurs de recherche ne pourront pas crawler efficacement votre site web. Ils passeront du temps sur des parties de votre site qui n'ont pas d'importance, ce qui peut entraîner la non-découverte de parties importantes de votre site. S'ils ne connaissent pas les pages, ils ne les exploreront pas et ne les indexeront pas, et vous ne pourrez pas attirer de visiteurs via les moteurs de recherche.

C’est Quoi Référencement Seo

En bref, gaspiller le budget de crawl nuit à vos performances SEO!

Rappel : le budget de crawl n'est généralement un problème que si vous avez un site Web volumineux, disons plus de 10 000 pages.

Comment être Bien Référencer En Seo

Maintenant que nous avons couvert la définition et les problèmes liés au budget de crawl, voyons comment vous pouvez facilement l'optimiser pour votre site.

✅ Comment optimiser son budget de crawl?

Grâce à cette checklist, vous devriez pouvoir disposer des bonnes bases pour permettre aux moteurs de recherche de crawler vos pages prioritaires.

Simplifiez l'architecture de votre site

Nous vous conseillons d'adopter une structure simple, hiérarchique et compréhensible pour vos visiteurs et moteurs de recherche. Par conséquent, priorisez vos niveaux de pages par importance en organisant votre site par niveau et type de pages :

Référencement Seo Cms

– Votre page d'accueil en tant que page de niveau 1. – Les pages de catégorie en tant que pages de profondeur de niveau 2. (qui peuvent être complétées par des pages générées par des balises) – Des pages de contenu ou des fiches produits (pour le e-commerce) en tant que pages de niveau 3.

Bien entendu, des sous-catégories peuvent être insérées entre les catégories et les pages de contenu/fiches produits par un autre niveau. Mais vous avez compris le principe… l'objectif est de proposer une structure claire et hiérarchisée aux moteurs de recherche, afin qu'ils sachent quelles pages sont à explorer en priorité.

Une fois que vous vous êtes assuré d'avoir établi votre hiérarchie descendante sur votre site grâce à ces modèles de pages, vous pouvez organiser vos pages autour de thèmes communs et les relier via des liens internes.

Agence Seo Nantes

Surveiller le contenu dupliqué

Nous considérons comme doublons les pages très similaires ou totalement identiques quant à leur contenu. Ce contenu dupliqué peut être généré par des pages copiées/collées, des pages de résultats du moteur de recherche interne ou des pages créées par des balises.

Podcast Seo Référencement

Pour en revenir au budget d'exploration, vous ne voulez pas que les moteurs de recherche passent leur temps sur des pages de contenu en double, il est donc important d'éviter, ou du moins de minimiser, le contenu en double sur votre site.

Voici comment y parvenir :

1. Configurez des redirections 301 pour toutes les variantes de votre nom de domaine (HTTP, HTTPS, non-WWW et WWW). 2. Rendez les pages de résultats de recherche internes inaccessibles aux moteurs de recherche à l'aide de votre fichier robots.txt. 3. Utilisez les taxonomies comme les catégories et les balises avec prudence ! Trop de sites utilisent encore à outrance les balises pour marquer le sujet de leurs articles, ce qui génère une multitude de pages de balises proposant le même contenu. 4. Désactivez les pages d'images. Vous savez… les fameuses pages du fichier joint proposées par WordPress.

Expert Seo Agence De Référencement

Gérez vos paramètres d'URL

Dans la plupart des cas, les URL avec paramètres ne doivent pas être accessibles aux moteurs de recherche, car elles peuvent générer une quantité pratiquement infinie d'URL. Les URL avec paramètres sont couramment utilisées lors de la configuration des filtres de produits sur les sites de commerce électronique. C'est bien de les utiliser, mais assurez-vous qu'ils ne sont pas accessibles aux moteurs de recherche !

Pour rappel, voici souvent à quoi ressemble une URL avec un paramètre : https://www.lancome.fr/maquillage/yeux/mascara/? srule=meilleures ventes

Dans cet exemple, cette page renvoie vers la catégorie des mascaras du site Lancôme qui sont filtrés par best-sellers (ceci est indiqué par?srule=best-sellers).

Comment rendre les URL inaccessibles avec des paramètres pour les moteurs de recherche?

1. Utilisez votre fichier robots.txt pour indiquer aux moteurs de recherche de ne pas accéder à ces URL. 2. Ajoutez l'attribut nofollow aux liens correspondant à vos filtres. Cependant, veuillez noter qu'à partir de mars 2020, Google peut choisir d'ignorer le nofollow. La première recommandation est donc à privilégier.

Référencement Seo Valenciennes

Limitez votre contenu de mauvaise qualité

Les pages avec très peu de contenu ne sont pas intéressantes pour les moteurs de recherche. Gardez-les au minimum, ou évitez-les complètement si possible. Un exemple de contenu de mauvaise qualité est une section FAQ avec des liens pour afficher les questions et les réponses, où chaque question et réponse est visible via une URL distincte.

Campagne De Référencement

Liens brisés et mal redirigés

Les liens brisés et les longues boucles de redirections sont des impasses pour les moteurs de recherche. Tout comme les navigateurs, Google semble suivre un maximum de cinq redirections en chaîne en un seul crawl (ils peuvent reprendre le crawl plus tard). La manière dont les autres moteurs de recherche traitent les redirections en boucle n'est pas claire, mais nous vous recommandons d'éviter complètement les redirections en boucle et de limiter l'utilisation des redirections en général.

Seo Matière De Référencement

Bien sûr, il est clair qu'en corrigeant les liens brisés et en les redirigeant via des redirections 301, vous pouvez rapidement récupérer le budget de crawl gaspillé. En plus de récupérer le budget de crawl, vous améliorez aussi significativement l'expérience utilisateur du visiteur. Mais redirigez vos pages qui sont vraiment importantes pour votre business! En effet, les redirections, et les chaînes de redirections en particulier, allongent le temps de chargement des pages et nuisent ainsi à l'expérience utilisateur.

Référencement Gratuit Google Comment Faire

Pour identifier facilement vos pages d'erreur répondant en 410, 404 ou pire… en soft 404, rendez-vous dans votre Search Console via la rubrique Index -> Couverture puis filtrez sur Exclus.

Sachez également qu'un outil de référencement comme Screaming Frog vous permettra également de détecter vos pages d'erreur.

Référencement Naturel Et Payant

URL incorrectes dans les sitemaps XML

Toutes les URL incluses dans les sitemaps XML doivent être des pages indexables. Les moteurs de recherche s'appuient fortement sur les sitemaps XML pour trouver toutes vos pages, en particulier sur les grands sites Web. Si vos sitemaps XML sont encombrés de pages qui, par exemple, n'existent plus ou sont redirigées, vous gaspillez votre budget de crawl. Vérifiez régulièrement votre plan de site XML pour les URL non indexables qui n'y appartiennent pas. Faites également l'inverse : recherchez les pages exclues à tort du sitemap XML.

Référencement Seo Wiki

Le sitemap XML est un excellent moyen d'aider les moteurs de recherche à dépenser judicieusement leur budget de crawl.

Nos conseils pour optimiser l'utilisation de vos sitemaps XML

Une pratique recommandée pour l'optimisation du budget de crawl consiste à diviser vos sitemaps XML en plusieurs sitemaps plus petits. Par exemple, vous pouvez créer des sitemaps XML pour chaque catégorie de votre site Web. De cette façon, vous pouvez déterminer rapidement si certaines sections de votre site Web présentent des problèmes.

Supposons que votre sitemap XML pour la catégorie A comporte 500 liens et que 480 soient indexés : vous vous en sortez plutôt bien. Mais si votre plan de site XML de catégorie B contient 500 liens et que seuls 120 sont indexés, c'est un problème que vous devez résoudre. Vous avez peut-être inclus de nombreuses URL non indexables dans le sitemap de la section B.

Référencement Seo Régle

Pages qui se chargent trop lentement

Lorsque les pages ont un temps de chargement élevé ou renvoient une réponse HTTP 504 indiquant un délai d'attente lors du traitement de la demande, les moteurs de recherche peuvent visiter moins de pages dans le cadre du budget Web alloué à votre site pour l'exploration. Outre cet inconvénient, les temps de chargement et d'attente élevés affectent considérablement l'expérience utilisateur de vos visiteurs, ce qui se traduit par un taux de conversion plus faible.

Seo Graphique Combien De Temps Pour Etre Référencé

Les temps de chargement de page supérieurs à deux secondes sont un problème. Idéalement, votre page se chargera en moins d'une seconde. Vérifiez régulièrement le temps de chargement de votre page à l'aide d'outils tels que Pingdom, WebPagetest ou GTmetrix.

Exemple Devis Référencement Seo

Notez que vous pouvez également vérifier la vitesse de votre page via Analytics sous la section Comportement -> Vitesse du site, et dans la Search Console via la section Essential Web Signals, également appelée Core Web Vitals, un nouveau facteur de classement SEO à partir de 2021.

Stratégie De Référencement Seo Sea

En général, vérifiez régulièrement si vos pages se chargent assez rapidement et, si ce n'est pas le cas, agissez immédiatement. Le chargement rapide des pages est essentiel à votre succès.

Corrige-type Devoir 2 Référencement Seo

Un nombre élevé de pages non indexables

Si votre site Web comporte un grand nombre de pages non indexables accessibles aux moteurs de recherche, vous ne faites que maintenir les moteurs de recherche occupés en leur faisant parcourir des pages non pertinentes.

Nous considérons comme non indexables ces types de pages :

Cours Référencement Seo

– Redirections (3xx) – Pages introuvables (4xx) – Pages avec erreurs de serveur (5xx) – Pages non indexables (pages contenant la balise ou une URL canonique )

Livres Seo Livres Sur Le Référencement

Pour identifier facilement ces pages, vous pouvez utiliser Screaming Frog ou, encore une fois, consulter votre console de recherche dans la section Index -> Couverture et filtrer sur Exclus.

Mauvais maillage interne

La façon dont les pages de votre site Web sont liées entre elles joue un rôle important dans l'optimisation du budget de crawl. C'est ce qu'on appelle le maillage interne. Mis à part les backlinks, les pages qui ont peu de liens internes attirent beaucoup moins l'attention des moteurs de recherche que les pages qui sont liées par un grand nombre de liens.

Malgré nos premiers conseils, évitez une structure de liens trop hiérarchisée, avec des pages à un niveau trop profond ayant peu de liens. Dans de nombreux cas, ces pages ne seront pas fréquemment explorées par les moteurs de recherche. Par conséquent, assurez-vous que vos pages les plus importantes reçoivent de nombreux liens internes. Les pages qui ont été récemment explorées ont tendance à se classer plus haut dans les résultats organiques. Gardez cela à l'esprit et adaptez votre structure de liens internes en conséquence.

Par exemple, si vous avez un article de blog de 2010 qui génère beaucoup de trafic organique, assurez-vous de continuer à créer un lien vers cet article à partir d'un autre contenu. Comme vous avez produit de nombreux autres articles de blog au fil des ans, l'article de 2010 est automatiquement placé au bas de la structure de liens internes de votre site Web.

Cours Référencement Formation Seo 150 Pages

N'oubliez pas le PageRank!

Remontons dans le temps Marty! Dans une interview en 2010 entre Eric Enge et Matt Cutts, l'ancien chef de l'équipe de spam Web de Google, la relation entre l'autorité de la page et le budget de crawl a été discutée. Voici ce que Matt Cutts a expliqué dans cette interview :

"Le nombre de pages que nous crawlons est à peu près proportionnel à votre PageRank. Donc, si vous avez beaucoup de liens entrants sur votre page racine, nous allons certainement la crawler. Votre page racine peut alors contenir des liens vers d'autres pages qui obtiendront le PageRank et qui nous allons également crawler. Cependant, à mesure que vous approfondissez votre site, le PageRank a tendance à diminuer. »

Référencement De Site Web Seo

Même si Google a cessé de mettre à jour publiquement les valeurs PageRank des pages, le PageRank est toujours utilisé dans leurs algorithmes. Étant donné que PageRank est un terme parfois mal compris, appelons-le l'autorité de la page. Ce qu'il faut retenir ici, c'est que Matt Cutts dit essentiellement qu'il existe une relation assez forte entre l'autorité de la page et le budget de crawl.

Par conséquent, pour augmenter le budget de crawl de votre site Web, vous devez augmenter son autorité (PageRank). Pour ce faire, vous devez en grande partie acquérir plus de liens (backlinks) provenant de sites Web externes.