Moteurs de recherche

• Description
• Méthodes de recherche
• Evolution
• Moteurs humains
• Moteurs généralistes
• Moteurs particuliers
• Outils complémentaires
  
  
• Pour en savoir plus

Description

Les moteurs sont des outils quantitatifs qui référencent des pages, alors que les annuaires références des sites. Ainsi, suite à une requête sur un moteur, vous accèdez directement à une page.

Un moteur de recherche se compose d'un robot (spider ou araignée) qui parcourt le web à l'affût de nouveaux sites, et d'un outil d'indexation. Lorsque vous tapez une requête, le moteur va d'abord rechercher dans son index le / les termes de la requête puis va rechercher dans les pages (plein texte) pour ensuite classer les résultats par ordre de pertinence.

Les moteurs de recherchent n'indexent pas toutes les pages d'un site. AltaVista par exemple n'indexe que 400 pages d'un site.

Certains moteurs utilisent les mêmes bases de données (l'une des plus utilisées est dmoz - http://dmoz.org, une base constituée bénévolement). La différence entre les moteurs réside dans leur algorithme de calcul de la pertinence des résultats.

Le calcul de la pertinence se faisait en comptabilisant le nombre d'occurrence d'un terme (ou d'une suite de terme) dans un texte et en prenant en compte leur proximité. Pour cela, non seulement le texte de la page était pris en compte mais aussi les meta balises (ou meta tag). Cependant, suite à des abus, mais aussi pour des raisons de performance, d'autres méthodes ont été élaborées, entre autre l'indice de popularité. Les moteurs utilisent différents algorithmes pour le calculer :

• Google utilise un indice de popularité (PageRank) qui est calculé en se basant sur le nombre de fois qu'un site est cité sur d'autre site (les anglais disent : It's not what you know, it's who knows you). Plus on fait de lien vers 1 site particulier, plus ce site est populaire. Le problème de ce procédé est le fait qu'une nouvelle page (ou un nouveau site) mettra un temps certain avant d'être jugé populaire. De plus, les pages qui contiennent des informations près spécialisées sont peu citées (sauf par d'autres spécialistes). Chaque moteur utilise un procédé similaire, cependant pour Google, c'est essentiel.
• L'indice de popularité est aussi calculé en fonction de la page sur laquelle vous allez suite à l'affichage des résultats. Si 2000 internautes cliquent sur le lien menant vers le site aaa.bb, le moteur donnera une pondération plus forte à ce lien plutôt qu'au lien sur lequel auront simplement cliquer 20 internautes.
• Additionné au critère précédent, il y aura aussi le temps passé sur un site. Si 2000 internautes cliquent sur un lien qui les mène vers un site où ils restent 10 minutes, ce lien aura une pondération plus forte que celui où ces mêmes 2000 internautes seront restés seulement 10 secondes. L'une des contraintes est évidement de revenir vers la page des résultats du moteur, en cas contraire, le moteur considérera que le site est très intéressant et lui donnera une forte pondération.

Le problème des moteurs de recherche est que les résultats ne sont pas classés par thèmes, ils apparaîssent par ordre de pertinence. Face à ce désordre, le moteur Nothernlight (http://www.northernlight.com) propose un type de classement par thème. Ainsi, une fois que vous avez posé votre requête, la page de résultats apparaît avec à gauche une liste de thèmes regroupant les différents résultats trouvés. En cliquant sur un thème, vous n'avez que les résultats propre à un domaine particulier. Un autre outil utilise ce principe : iLor (http://www.ilor.com). Cet outil ne fonctionne bien que sur le web américain.

Méthode de recherche

Le problème des moteurs est le nombre de résultats qu'ils renvoient suite à une requête. Afin de réduire le nombre des résultats, il convient de connaître un minimum les opérateurs booléens, voire la recherche avancée qui permet de réduire la recherche à certains champs des pages indexées. Cependant, les opérateurs booléens varient dans leur forme d'un moteur à un autre.

Syntaxe de quelques moteurs de recherche ( source : abondance - http://www.abondance.com/outils/comparatif.html)

• pour connaître la quantité d'information existant dans 1 domaine et ainsi voir les termes qui donnent plus du bruit (parce que trop fréquents) ou qui ont peu de rapport avec le domaine de recherche (termes polysémiques). Dans ces 2 cas, il convient d'affiner sa requête afin d'évacuer des résultats les pages hors sujet ou inintéressantes;
• suite à une recherche dans les annuaires, afin de rechercher au sein des sites jugés intéressant les pages pertinentes. Cela évite de naviguer à travers les sites. En amont, cela demande d'avoir bien formuler sa requête, donc de s'être servi du corpus trouvé dans les annuaires.

Remarque : il se peut que dans certains cas, l'un des résultat vous amène à une page d'erreur 404 (ou à un message tel que 'la page n'existe plus'). Google vous offre la possibilité d'avoir accès à une page qui n'est plus en ligne en cliquant sur Copie cachée. Google stocke les pages du web sur des disques durs.

• Alexa (http://info.alexa.com/data/destination_site) : vous tapez l'url du site et vous avez toutes les informations sur ce site (courte présentation issue de la balise html <description>, qui fait ce site, avec qui est relié ce site, ...). Vous pouvez aussi installer sur votre navigateur l'outil Alexa qui se lancera ainsi par simple clic sur un bouton lorsque vous serez sur 1 site.
• Alibaweb / partie bookmarlets (http://www.alibaweb.net/ressources/bookmarklets/bookmarklets.shtml) : des petits programmes à installer sur son navigateur pour avoir des informations sur la page en cours de navigation.

Pour en savoir plus

• Dictionnaire des termes liés aux moteurs de recherche (http://www.idf.net/mdr/glossaire.html)
• Description des moteurs :
  • Descriptif assez complet des principaux moteurs de recherche (http://outils.abondance.com/moteurs.html) : présentation, historique, syntaxe, référencement, ... (source : abondance).
• Classements des résultats :
  • Information sur le ranking des outils de recherche (http://www.user.cityline.ru/~asona/secret/searchengine5.html)