v Première étape : Optimisation pour les moteurs de recherche

L'indexation implique la collecte automatique d'informations à propos des pages Web par les moteurs de recherche tels que Google, Yahoo!, Live Search etc. En "glanant" des informations auprès des moteurs de recherche, les utilisateurs tirent profit des informations indexées pour obtenir des résultats de recherche rapides et précis qui répondent aux critères de recherche saisis par l'utilisateur.

Par défaut, le contenu de chaque page Web publiée (surtout le texte de l'en-tête) est indexé. Toutefois, sachant que des milliards de pages Web sont constamment indexées sur Internet, les développeurs Web peuvent optimiser la procédure d'indexation pour permettre aux pages de leur site d'être mieux classées dans les résultats de la recherche.

L'optimisation des pages Web pour les moteurs de recherche peut s'effectuer de différentes manières :  

• Méta-balises : les balises contiennent des descripteurs pour les moteurs de recherche (c'est-à-dire un mot-clé et une description) correspondant au site et/ou à une page particulière. Ces balises sont utilisées pour permettre une meilleure corrélation entre le texte saisi dans le moteur de recherche (à la manière de ce que vous saisissez dans Google) et les mots-clés que vous avez associé avec votre site ou page Web. De plus, une méta-balise 'Robots' permet aussi d'inclure/exclure le site ou les pages de l'indexation ; il est aussi possible d'empêcher l'exploration des liens hypertextes vers d'autres pages.

• Robots : des pages (ou dossiers) peuvent être exclues de l'indexation par les moteurs de recherche en utilisant un fichier "robot". Il fonctionne de la même manière que les méta-balise 'Robots' mais il utilise un fichier texte (robots.txt) pour indiquer aux robots ou aux araignées ce qu'ils ne doivent pas indexer. Le fichier énumère simplement des références de dossiers ou de pages exclus du site Web.

• Sitemaps : à l'opposé du concept des "robots" ; les pages peuvent être inclues pour faciliter et optimiser l'indexation et l'analyse intelligentes. Les références des pages du site Web sont conservées dans un fichier sitemap dédié (sitemap.xml).