robot exclusion standard

Viele Websites wollen nicht in den Suchergebnissen der Suchmaschinen auftauchen. Um dies zu verhindern, kann man Website so kennzeichnen, dass die darauf zugreifenden Robots erkennen, dass die gekennzeichnete Webseite nicht erfasst werden darf. Dies geschieht mit der RES-Kennzeichnung, was für Robot Exclusion Standard (RES) steht.

Das Verhalten der Robots kann durch Kopfeinträge und die ASCII-Datei robots.txt im Root Directory des Webservers beeinflusst werden. Ist die Datei robots.txt im Webserver abgelegt, untersagt sie den Robots den Zugriff auf die Webseite.