Quel est le rôle d'un moteur de recherche ?
Les moteurs de recherche sont la version numérique d'un bibliothécaire. Ils utilisent un index complet pour trouver les informations adaptées à une requête. Comprendre les principes de base de la recherche vous permet de rendre votre contenu découvrable par les utilisateurs.
Comment les robots d'exploration parcourent le Web
L'exploration est comparable à la lecture de tous les livres de la bibliothèque. Avant de pouvoir afficher des résultats de recherche, les moteurs de recherche doivent disposer d'un maximum d'informations provenant du Web. Pour ce faire, les moteurs de recherche utilisent un robot d'exploration, un programme qui passe d'un site à l'autre et agit comme un navigateur.
Si un livre ou un document est manquant ou endommagé, le robot d'exploration ne peut pas le lire. Les robots d'exploration tentent de récupérer chaque URL pour déterminer l'état du document. Si un document renvoie un code d'état d'erreur, les robots d'exploration ne peuvent pas utiliser son contenu et peuvent réessayer d'accéder à l'URL ultérieurement. Cela garantit que seuls les documents accessibles au public sont inclus dans l'index.
Si les robots d'exploration découvrent un code d'état de redirection (comme 301 ou 302), ils suivent la redirection vers une nouvelle URL et continuent à partir de là. Une fois qu'ils ont obtenu une réponse positive, ce qui signifie qu'ils ont trouvé un document accessible aux utilisateurs, ils vérifient s'ils sont autorisés à l'explorer, puis téléchargent le contenu.
Cette vérification inclut le code HTML et tout le contenu mentionné dans le code HTML, comme les images, les vidéos ou le code JavaScript. Les robots d'exploration extraient également les liens des documents HTML afin de pouvoir également visiter les URL associées. C'est en suivant les liens que les robots d'exploration trouvent de nouvelles pages sur le Web.
Les robots d'exploration ne cliquent pas activement sur les liens ou les boutons, mais envoient des URL à une file d'attente pour les explorer ultérieurement. Lors de l'accès à une nouvelle URL, aucun cookie, service worker ou stockage local (comme IndexedDB) n'est disponible.
Créer un index
Après avoir récupéré un document, le robot d'exploration transmet le contenu au moteur de recherche pour l'ajouter à l'index. Le moteur de recherche affiche et analyse désormais le contenu pour le comprendre. Le rendu consiste à afficher la page comme le ferait un navigateur (avec certaines limites).
Les moteurs de recherche examinent les mots clés, le titre, les liens, les en-têtes, le texte et bien d'autres éléments. Ces éléments sont appelés signaux. Ils décrivent le contenu et le contexte de la page. Les signaux permettent aux moteurs de recherche de répondre à une requête donnée avec la meilleure page possible.
Les moteurs de recherche peuvent trouver le même contenu à différentes URL. Par exemple, une recette de tarte aux pommes peut se trouver sous /recipes/apple-pie et sous /recipes/1234. Pour éviter d'indexer et d'afficher la recette deux fois, les moteurs de recherche déterminent l'URL principale et ignorent les URL alternatives affichant le même contenu.
Fournir les résultats les plus utiles
Les moteurs de recherche ne se contentent pas de faire correspondre la requête aux mots clés de l'index. Pour fournir des résultats utiles, ils peuvent prendre en compte le contexte, d'autres formulations, la position de l'utilisateur, etc. Par exemple, "silicon valley" peut faire référence à la région géographique ou à la série télévisée. Mais si la requête est "silicon valley cast", les résultats sur la région ne sont pas très utiles.
Certaines requêtes peuvent être indirectes, comme "la chanson de Pulp Fiction". Les moteurs de recherche doivent alors interpréter la requête et afficher les résultats correspondant à la musique du film. Lorsqu'un utilisateur effectue une recherche, les moteurs de recherche déterminent les résultats les plus utiles, puis les lui présentent. Le classement ou l'ordre des pages dépend de la requête. L'ordre peut souvent changer au fil du temps si de meilleures informations sont disponibles.
Étapes suivantes : Comment optimiser votre site pour les moteurs de recherche
Maintenant que vous comprenez les principes de base du fonctionnement des moteurs de recherche, vous voyez peut-être l'intérêt de l'optimisation pour les moteurs de recherche. C'est ce qu'on appelle le SEO, ou "Search Engine Optimization" (référencement naturel). En vous assurant que les moteurs de recherche peuvent trouver et comprendre automatiquement votre contenu, vous améliorez la visibilité de votre site pour les recherches pertinentes. Cela peut vous aider à attirer davantage d'utilisateurs intéressés sur votre site. Auditez votre site avec Lighthouse et vérifiez les résultats SEO pour voir dans quelle mesure les moteurs de recherche peuvent faire connaître votre contenu aux utilisateurs.