Crawler sind kleine Programme, die in gewissen Intervallen das Internet durchsuchen. Diese erfassen dabei Inhalte wie, insbesondere Texte, aber auch Bilder und Videos. Daher sind es vorwiegend Suchmaschinenbetreiber, die solche Crawler einsetzen, um Webseiten in ihren Suchindex aufzunehmen. Crawler folgen in aller Regel sämtlichen Verlinkungen, die sie in einem Webauftritt finden. Selbstverständlich gibt es auch Crawler, die nicht die Aufgabe haben, Seiten zu indexieren. So können z. B. unerwünschte Spam-Mails die Folge des Einsatzes eines sogenannten Harvesters sein. Als Harvester werden Crawler bezeichnet, die nur die Aufgabe haben, gezielt nach Adressen von Nutzern oder Firmen zu suchen und diese zu sammeln für den späteren Spam-Mail-Versand.
Das Verhalten der Suchmaschinen-Crawler können Sie als Websitebetreiber darüber hinaus auch in Teilen steuern. So können Sie etwa den verschiedenen Googlebots über eine vorliegende robots.txt den Besuch einer oder mehrerer Websites bzw. bestimmter Pfadstrukturen untersagen. Weiterhin können Sie auch im <head>-Bereich des Webauftritts durch entsprechende Anweisungen wie „noindex“ das Indizieren oder mittels „nofollow“ das Folgen von Links auf der Seite untersagen. Selbstverständlich gilt das auch für andere Suchmaschinen und deren Crawler.
So nützlich die Steuerungsmöglichkeiten sein mögen, sollten Sie hier immer eine gewisse Vorsicht walten lassen. Insbesondere das „noindex“ ist mit Bedacht zu verwenden. Denn wenn Sie unbeabsichtigt eine oder mehrere Seiten vom Index ausschließen, obwohl hier viel Arbeit in die Suchmaschinenoptimierung eingeflossen ist, wäre das mehr als ärgerlich. Denn diese Seiten würden schlicht nicht im Index auftauchen. Umgekehrt kann es sinnvoll sein, sensiblere Bereiche bewusst aus dem Suchindex auszuschließen.