Le fichier robots.txt
Chaque moteur de recherche utilise des robots qui parcourent les sites Web du monde entier afin d'en indexer le contenu.
Le fichier robots.txt précise aux robots des moteurs de recherche qu'est-ce qu'ils doivent indexer ou non sur votre site Web.
(suite…)