LATEST NEWS
CONTACTS
Blog Référencement Google

Calcul d'un score BERT pour le référencement

Partager…
E-mail
Ajouter aux Favoris

Comment Augmenter Le Référencement Sur Google

Dans cet article nous allons voir comment calculer un « score BERT » pour déterminer si une page web est susceptible de répondre à une question posée dans Google.

Agence Seo Expert Referencement

Pour ceux qui n'y auraient pas prêté attention, l'algorithme BERT est déployé sur les résultats de Google pour l'anglais aux USA depuis le 25 octobre 2019, et depuis le 9 décembre de la même année pour les autres langues, dont le français.

En clair, pour les requêtes et/ou questions longues, le BERT essaiera de trouver les pages qui répondent le mieux en faisant une analyse "sémantique" du contenu.

Agence Seo Prix

Cela permet notamment d'avoir des résultats où Google répond directement à une question. Par exemple ici : « Quand Abraham Lincoln est-il mort et comment? »

Chef De Projet Responsable Seo Le Garant Du Référencement

Référencement Site Web Seo

Qu'est-ce que le BERT?

Comment Référencer Son Site Internet

Même si BERT est nouveau dans la communauté SEO, il était déjà connu de la communauté data science depuis 2018 (ce qui n'est pas très ancien non plus). En effet depuis le 2 novembre 2018 et la publication en open source par Google de cet algorithme utilisé notamment dans le traitement du langage naturel.

Description Site Internet

Voir aussi le code source BERT sur Github.

Référencement Seo à Lorient

BERT signifie Représentations d'encodeurs bidirectionnels à partir de transformateurs. La chose importante à retenir ici est le mot bidirectionnel.

Cela signifie que BERT peut comprendre le sens d'un mot en analysant le contexte avant et après le mot. Ce qui est une amélioration par rapport aux modèles précédents.

Attention, pour être efficace, le BERT a été pré-entraîné sur un large corpus de textes et notamment Wikipédia.

Comment le BERT (de base) est-il pré-formé ?

BERT utilise 2 tâches non supervisées pour entraîner son modèle :

Seo Stratégie De Référencement

– Le Masked Language Model (MLM) dont le principe est de découvrir la probabilité d'un mot manquant dans une phrase. – Le Next Sentence Processing (NSP) qui, comme son nom l'indique, doit prévoir la phrase suivante d'une phrase.

À quoi le BERT peut-il être utilisé ensuite ?

Leviers D’analyse De Référencement Seo

Une fois pré-formé, vous pouvez utiliser BERT pour lui faire faire des tâches plus spécifiques (on parle de "fine-tuning") comme :

Créer Du Contenu Numérique Efficace Référencement Seo

– Analyse des sentiments sur les textes. – Tâches Questions Réponses (c'est ce qui nous intéresse ici). – Reconnaissance d'entité : par exemple savoir si on a affaire à une personne, un lieu, une date etc… – …

Qu'est-ce que le BERT peut être utilisé pour Google ?

Selon le Search Engine Journal, qui a écrit un article très détaillé sur le BERT et Google, le BERT permet de résoudre un certain nombre de problèmes existants dans la compréhension du langage comme les ambiguïtés lexicales (mots qui peuvent être des noms, des verbes ou des adjectifs), les mots à plusieurs sens, les homophonies (mots qui se prononcent de la même manière), la résolution des anaphores et des cataphores grammaticales…

Comment Etre Bien Référencé Sur Google Seo

Il permet aussi, et c'est l'objet de cet article, de répondre aux questions directement dans ses résultats de recherche.

Outils Référencement Seo

Remarque importante : étant donné que les modèles BERT pré-formés sur les réponses aux questions que nous avons trouvés sont en anglais, l'outil fonctionnera en anglais sur Google.com pour l'instant.

Audit Seo Gratuit

Si quelqu'un a un modèle en français, il peut laisser un message dans les commentaires! Merci!

Référencement Sea Seo

De quoi aurons-nous besoin?

Elearning Référencement Seo

Pour tester le programme, je vous propose cette fois 2 possibilités, soit le tester sur votre ordinateur, soit dans Google Colab.

Référencement Seo Blog

Sur ton ordinateur

Formation Référencement Seo

Comme d'habitude, nous vous conseillons de travailler avec la version Python Anaconda (aujourd'hui version 3.7) qui comprend les outils de base pour le Data Scientist mais aussi l'interface de développement Spyder et l'outil Jupyter Notebook qui permet de créer et de partager des documents exécutant du code Python (We' Je vais revoir cela avec Google Colab).

Nota Bene : Ici nous utilisons la librairie Deep Learning PyTorch (développée par FaceBook) avec Transformers (de Hugging Face) et non Keras et Tensorflow (développé par Google) pour manipuler un algorithme BERT (développé par Google). Eh bien tout cela peut sembler étrange, mais cela fonctionne sur Python 3.7.

Alors rendez-vous dans notre boutique au : https://www.anakeyn.com/boutique/produit/script-python-calcul-dun-score-bert-seo/ pour télécharger gratuitement les codes sources.

Seo Pour Désigner Le Référencement

Veillez à les installer dans un sous-répertoire "Bert_Squad_SEO" (évitez le "-" dans le nom du répertoire, il sera utile plus tard dans Google Colab.

Agence De Référencement Seo Sea Nice

CODE SOURCE de Bert_Squad_SEO_Score.py

Formation Reconnue Concernant Le Seo Et Le Référencement Naturel

Lancez le programme Spyder et ouvrez le fichier python Bert_Squad_SEO_Score. py nous allons commenter le code source ici :

INSTITUTION de la CLASSE "QA": Question Réponse

Obtenez des noms de modèles pré-formés avec SQuAD sur la page officielle de Hugging Face : https://huggingface.co/transformers/pretrained_models.html. Pour l'instant nous en avons 2 :

– 'bert-large-uncased-whole-word-masking-finetuned-squad' – 'bert-large-cased-whole-word-masking-finetuned-squad'

Le paramètre n_best_size indique le nombre de meilleures réponses que l'on souhaite pour chaque document (ici des pages web). 20 c'est largement suffisant. Le score moyen des 20 meilleures réponses servira d'indicateur de score BERT entre 0 et 1 pour chaque page Web.

Saisissez également votre question (en anglais) dans la variable myKeyword.

Comment Améliorer Son Référencement Naturel Seo

Bibliothèques et fonctions nécessaires

Seo Référencement Carcassonne

Récupération des 30 premières pages

Nous allons récupérer les URL des 30 premières pages qui répondent le mieux à notre question dans Google.

Création De Pages Et Référencement Naturel Optimisation Seo

Pour cela nous utiliserons la bibliothèque googlesearch de Mario Vilas que nous avions déjà utilisée : https://python-googlesearch.readthedocs.io/en/latest/

Seo Freelance Salaire

Récupération du contenu de la page

Référencement Seo Vous Assurer

Nous récupérerons alors le contenu des pages. Nous supprimons d'abord les documents non-html.

Blog Référencement Seo

Récupération du BERT SCORE

Seo Référencement Payant

Nous allons récupérer la partie visible de la page HTML. 0n enregistrera alors les informations fournies par la fonction de prédiction :

dans différents fichiers Excel.

Coût Référencement Payant Seo

Résultats

Seo Modifier Le Référencement Naturel D’un Site

2 fichiers nous intéressent : dfPagesSummary.csv et dfPagesAnswers.csv

dfPagesSummary.csv contient les scores BERT basés sur les pages. Ici pour la question "Quand Abraham Lincoln est-il mort et comment?" » toutes les pages trouvées ont un bon score :

Apprendre Référencement Seo

Comme on le voit sur l'image, la plupart des pages bien classées ont également un bon score BERT.

Regardons dans le fichier dfPagesAnswers pour affiner les résultats et voir si le programme répond correctement à la question :

Comme on peut le voir dans la colonne "réponses", le programme est efficace pour trouver les bonnes réponses. Le score qui nous intéresse ici est "total_probs" qui est le score "absolu" pour la réponse (pas la page). On voit que les scores sont très importants.

Entreprise De Seo Référencement K

Le score "local_probs" est le score de cette réponse par rapport aux 19 autres réponses de la page.

Les éléments de début et de fin correspondent au numéro de mot de début et de fin (ou plutôt aux jetons) de la réponse. Si on élargissait l'intervalle autour de la réponse, cela permettrait d'avoir une vision du contexte et d'avoir une aide pour rédiger des réponses efficaces.

Le Référencement Naturel Ou Seo

Rem : on peut imaginer plus tard utiliser les scores BERT ainsi calculés. Utilisez-les ensuite comme facteurs de classement dans le référencement et ajoutez-les à nos modèles de classification via Deep Learning ou Machine Learning.

CODE SOURCE de bert.py

Nous n'allons pas présenter le programme bert.py en détail, mais seulement les modifications que nous avons apportées, par rapport à l'original réalisé par Kamal Raj. Pour plus de détails sur l'original, consultez son github : https://github. com/kamalkraj/BERT-SQUAD.

Rappel : le fichier bert.py modifié est à retrouver en intégralité sur notre Github : https://github.com/Anakeyn/Bert_Squad_SEO.

Nous vous présentons ici le début du programme où nous avons fait les modifications, à savoir :

– On a changé "pytorch_transformers" en "transformers" le nom ayant changé à Hugging Face (ligne 13) – On a mis en paramètre d'entrée "n_best_size" dans la classe QA que vous pouvez ainsi modifier selon vos besoins (ligne 27 et 32) – Dans Load Model, nous avons décidé de charger un modèle pré-formé de Hugging Face (voir la liste des modèles ici : https://huggingface.co/transformers/pretrained_models. html) plutôt que le modèle entraîné par Kamal et enregistré sur notre machine.

Code source utils.py

Comme auparavant, nous n'allons pas publier et commenter l'ensemble du programme utils.py.

Rappel : le fichier utils.py modifié est à retrouver en intégralité sur notre github : https://github.com/Anakeyn/Bert_Squad_SEO.

les changements étaient les suivants :

Bourrelly Un Seo Campus Seo Ne Vous Apprendra Le Référencement

– Au début du programme, nous avons changé "pytorch_transformers" en "transformers" le nom ayant changé à Hugging Face (ligne 12) – A la fin du programme, dans la fonction get_answer nous avons calculé des scores "absolus", total_probs (sous forme de probabilité entre 0 et 1 ) à partir des total_scores sous forme de logit (entre – ∞ et + ∞ ) pour chaque réponse trouvée dans la page. – La valeur mean_total_probs étant la moyenne de ces valeurs, et servira de notre score "BERT".

Comment Référencer Son Site Seo

Sur GoogleColab

Référencement Naturel Et Seo

Google Colab est un outil en ligne de Google qui vous permet d'exécuter Notebook Jupyter directement dans le "cloud".

Comment Avoir Un Bon Référencement Naturel

Un Jupyter Notebook est un fichier qui contient à la fois du texte, des images et du code source exécutable, en particulier en Python.

L'avantage de Google Colab est que vous pouvez utiliser virtuellement un processeur graphique GPU, ou un processeur Tensor Processing Unit (TPU), ce qui accélère considérablement les calculs.

Agence De Référencement Naturel

Google Colab peut fonctionner avec votre Google Drive. Cela vous permet de sauvegarder vos cahiers et aussi des données (nous verrons comment).

Carnet Bert_Squad_SEO_Score_Colab.ipynb

Optimiser Son Référencement Amazon Idem Que Le Seo

Dans notre Github que vous avez normalement téléchargé sur https://github.com/Anakeyn/Bert_Squad_SEO, vous trouverez le fichier Jupyter NoteBook Bert_Squad_SEO_Score_Colab.ipynb.

Comment Améliorer Le Seo

Pour faciliter sa manipulation dans Google Colab, ce notebook Jupyter contient à la fois le code source de Bert_Squad_SEO_Score.py, bert.py et utils.py.

Audit Seo Analyse Seo & Audit De Référencement

Télécharger sur Google Drive

Intelligence Artificielle Référencement Seo

Tout d'abord, vous allez télécharger le fichier Bert_Squad_SEO_Score_Colab.ipynb dans un répertoire (par exemple Bert_Squad_SEO) sur votre Google Drive.

Agence Seo Référencement

Pour importer un fichier ou un dossier, cliquez sur Nouveau à gauche de l'écran Google Drive :

Temps De Référencement Seo WordPress

Attention!!!! Ne donnez pas de nom de fichier avec "-" (tiret de 6) cela plante Google Colab, je ne sais pas pourquoi.

Qu Est Ce Que Le Référencement Seo

Une fois votre environnement configuré, cliquez sur le Notebook :

le système propose de l'ouvrir avec Google Colab :

Tout d'abord, il est nécessaire de configurer l'utilisation du processeur graphique GPU pour votre NoteBook : Modifier -> Paramètres du NoteBook :

Optimiser Référencement Seo WordPress H1

Vous pouvez maintenant commencer à exécuter le Notebook. Cela exécute morceau de code par morceau de code.

Icon Référencement Seo

Nous n'allons pas revenir sur ce que nous avions vu précédemment pour la version informatique. Nous allons juste parler des spécificités de Google Colab.

Optimisation Référencement

Chargement de bibliothèques non fournies par GoOGle Colab

Optimiser Son Référencement Seo

Google Colab propose de nombreuses bibliothèques par défaut, cependant, il peut arriver que celles qui nous intéressent manquent. Ici a priori : "transformers" qui gère notamment BERT pour Pytorch et "google" la librairie qui permet de scraper des pages Google.

Agence Seo Madagascar

Dans Google Colab, vous utilisez la commande traditionnelle "pip" avec un "!" " avant que :

Cnam Référencement Naturel Seo Et Contenu De Marque Brand Content

Utilisez votre Google Drive avec GoOGle Colab

Référencement Seo Site Internet

Pour pouvoir utiliser votre Google Drive pour importer des données ou enregistrer des données, il est nécessaire de le "monter" (comme avec Unix/Linux). La commande est la suivante :

Consultant Référencement Seo Lyon

Lorsque vous exécutez la commande, Google Colab vous demandera de récupérer un code d'autorisation. Suivez le lien et les instructions de Google (plusieurs pop-ups apparaissent), entrez votre code dans la case prévue à cet effet et appuyez sur Entrée.

Une fois la connexion avec Drive établie, il sera accessible :

Attention!!!! pour des raisons qui me sont inconnues, le répertoire de votre Google Drive se trouve à "drive/My Drive/" et non "content/drive/My Drive/"!!!!

Référencement Seo Logo

Ensuite, exécutez les parties de code une par une.

Seo Définition Référencement Payant

À un moment donné, vous verrez la ligne :

Campagne De Référencement

vous pouvez bien sûr modifier la question souhaitée.

Seo Pour Photographe Et Du Référencement Naturel D’un Site Photo

Comme vous pouvez le constater, l'exécution sur Google Colab est beaucoup plus rapide que sur un ordinateur sans GPU.

Consultant En Référencement Salaire

A la fin, le système enregistre les fichiers de résultats sur votre Google Drive :

Référencement Seo Wix

Et quels sont vos résultats? Et pour quelles demandes?

N'hésitez pas à commenter!!

Référencement Site Seo Internet Lyon

Merci pour votre attention,

Rocher

Cet article est également disponible en anglais ici : https://www.jcchouinard.com/get-bert-score-for-seo-by-pierre-rouarch/. Merci à Jean-Christophe Chouinard pour la traduction.