Robots oder Bots sind Programme, die als Agenten für einen Benutzer oder Server operieren. Im Internet werden die Bots, die auch als Spider oder Crawler bezeichnet werden, als Suchmodule eingesetzt, die das Internet automatisch nach neuen und aktualisierten Webseiten durchsuchen, indem sie selbstständig den Links folgen. Sie werden von den Suchmaschinen zur Recherche ausgesendet und durchforsten die Webserver. Diese Suchmaschinen-Bots erfassen und charakterisieren die Dokumente anhand von Keywords und führen die Daten der Websites den Suchmaschinen zu.

<< Anzeige >>

Beispiel für eine Statistik der verschiedenen Suchmaschinen-Robots

Robots können akzeptiert, auf spezielle Seiten eingeschränkt oder mit dem Robot Exclusion Standard (RES) verhindert werden. Ihr Verhalten kann durch Kopfeinträge und die ASCII-Datei robots.txt im Root Directory beeinflusst werden. Durch einfache Befehle können Robots selektiert und die Informationsübernahme kann eingeschränkt werden, indem bestimmte Dateien nicht gecrawlt werden dürfen. Sie werden durch "Disallow: /Images/" von der Erfassung ausgeschlossen.

Beispiele für unterschiedliche Robots

Robots sind modifizierte, inoffizielle IRC-Clientprogramme, die Kontrollaufgaben ausführen und Chatter auf bestimmte Neuheiten hinweisen. Es gibt Versionen, mit denen es möglich ist, in den Rechner eines gewöhnlichen IRC-Clients einzudringen. Andere Bots können automatisch Spiele ausführen, wie Pokerbots, unerwünschte und nicht angeforderte E-Mails versenden, wie Spambots, Newsgroups durchforsten, wie Adbots, oder eigene Entscheidungen treffen, wie die Wizards.