robot

Robots oder Bots sind Programme, die als Agent für einen Benutzer oder Server operieren. Im Internet werden die Bots, die auch als Spider oder Crawler bezeichnet werden, als Suchmodule eingesetzt, die das Internet automatisch nach neuen und aktualisierten Webseiten durchsuchen. Sie werden von den Suchmaschinen zur Recherche ausgesendet und durchforsten die Webserver. Diese Suchmaschinen-Bots erfassen und charakterisieren die Dokumente anhand von Schlüsselwörtern und führen die Daten der Websites den Suchmaschinen zu.

Beispiel für eine Statistik der verschiedenen Suchmaschinen-Robots

Robots können akzeptiert, auf spezielle Seiten eingeschränkt oder mit dem Robot Exclusion Standard (RES) verhindert werden. Ihr Verhalten kann durch Kopfeinträge und die ASCII-Datei robots.txt im Root Directory beeinflusst werden. Durch einfache Befehle können Robots selektiert und die Informationsübernahme eingeschränkt werden.