Que signifie le terme Crawler
Un crawler est un programme qui visite des sites Web et lit leurs pages et d’autres informations afin de créer des entrées pour un index de moteur de recherche.
Les principaux moteurs de recherche sur le Web ont tous un programme de ce type, également appelé « araignée » ou « bot ». Les crawlers sont généralement programmés pour visiter des sites qui ont été soumis par leurs propriétaires comme nouveaux ou mis à jour.
Des sites entiers ou des pages spécifiques peuvent être visités et indexés de manière sélective. Les crawlers ont apparemment gagné le nom parce qu’ils parcouraient un site à la fois, en suivant les liens vers d’autres pages du site, jusqu’à ce que toutes les pages aient été lues.
Les crawlers collectent des informations telles que l’URL du site Web, les informations de balise méta, le contenu de la page Web, les liens de la page Web et les destinations à partir de ces liens, le titre de la page Web et toute autre information pertinente. Ils gardent une trace des URL déjà téléchargées pour éviter de télécharger à nouveau la même page.
