Crawler

Der Crawler wird oft auch als Spider oder Robot bezeichnet. Der Crawler ist ein Programm, das die indexierten Seiten einer Suchmaschine aufruft und an die Suchmaschine weiterleitet. Die URL der Seite wird dabei in eine IP-Adresse umgewandelt. So kann die Suchmaschine mit dem jeweiligen Server in Verbindung treten. Der Crawler kann mehrere hundert Seiten zugleich öffnen.