Un web crawler, aussi appelé robot d’indexation ou spider, est un programme utilisé par les moteurs de recherche pour explorer le web et indexer les pages. Ces robots suivent les liens d’une page à l’autre pour découvrir de nouveaux contenus et mettre à jour les bases de données des moteurs de recherche, afin que les utilisateurs puissent trouver les pages pertinentes.