Le crawling: processus pour extraire et évaluer les mots des pages web

Le processus démarre via des URLs connus

Normalement, un robot d’exploration Web commence son voyage à partir d’un ensemble d’URL connues, ou ce qu’on appelle des URL de départ. Il parcourt les méta-informations des pages Web (par exemple le titre, la description) ainsi que le corps de la page Web. Au fur et à mesure que ces pages sont indexées, le robot d’exploration continue de parcourir les hyperliens pour visiter les pages Web qui sont liées dans les pages de départ.

Voici donc l’itinéraire de base qu’un robot d’exploration Web emprunterait :

• Accéder à la liste des pages Web connues
• Extraire les URL qui sont liées dans ces pages Web et ajoutez-les à la liste
• Continuez à visiter les pages nouvellement ajoutées

En visitant constamment les pages Web, les robots d’exploration Web peuvent découvrir de nouvelles pages ou URL, mettre à jour les modifications apportées aux pages existantes et marquer ces liens morts.

Les robots d’exploration Web donnent la priorité

Même si les robots d’exploration Web sont des programmes automatisés, ils ne peuvent pas suivre le rythme de l’expansion rapide d’Internet et des changements constants des pages Web. Afin de capturer les informations les plus pertinentes et les plus précieuses, les robots d’exploration Web doivent suivre certaines règles qui permettent de hiérarchiser tous les liens ajoutés, à visiter en premier.

Par exemple:

• Les pages Web qui sont liées par de nombreuses autres pages pertinentes seront considérées comme plus informatives que ces pages sans aucune référence. Les robots d’exploration Web sont plus susceptibles de donner la priorité à la visite de ces pages Web.
  Les robots d’exploration Web revisitent les pages Web pour s’assurer qu’ils suivent les mises à jour et obtiennent de nouvelles informations. Une page Web mise à jour régulièrement peut être explorée plus fréquemment que celles qui apportent rarement des modifications.
• Toutes ces règles sont faites pour aider l’ensemble de ce processus à être plus efficace et à être plus sélectionné sur le contenu qu’ils explorent. L’objectif est de fournir les meilleurs résultats de recherche aux utilisateurs des moteurs de recherche.

À propos de l’indexation

Un index de recherche aide un moteur de recherche à renvoyer des résultats rapidement et efficacement. Cela fonctionne comme un index dans un livre – pour vous aider à accéder rapidement aux pages (informations) nécessaires avec une liste de mots-clés (ou chapitres).

Le robot construit l’index. Il visite les pages du site Web, collecte le contenu, le place dans un index et l’envoie à la base de données. Vous pouvez prendre l’index comme une énorme base de données de mots et de pages correspondantes où ils apparaissent.

Pour les webmasters, il est important de s’assurer que le site Web est correctement indexé. Ce n’est que lorsque la page Web est indexée qu’elle apparaîtra dans les résultats de recherche et sera découverte par le public. Alors qu’un propriétaire de site Web peut également décider comment un robot de recherche explore son site Web. Robots.txt est un fichier que les webmasters créent pour indiquer aux robots de recherche comment explorer leurs pages.