Die Robots.txt ist eine Datei auf einem Webserver, mit der man einem Spider Anweisungen geben kann. Die Robots.txt findet man direkt beim Domänname, liegt also im Hauptverzeichniss (www.livespider.de/Robots.txt). Die Hauptaufgabe dieser Datei ist es bestimmte Bereiche einer Webseite für einen Spider bzw. einen Robot zu sperren. Dies kann man ganz einfach tun mit einem Eintrag in diese Datei wie folgt:

Disallow: /unsinn/

Dieser Eintrag sagt also dem Spider, dass er von dem Unterverzeichnis /unsinn auf dem Server wegbleiben soll, sprich es ist für ihn gesperrt. Man kann natürlich noch mehr Einstellungen in der Robots.txt vornehmen, was allerdings hier nicht weiter behandelt werden soll. Wen es aber trotzdem interessiert der kann bei SELFHTML.ORG nachlesen. www.livespider.de akzeptiert die Einstellungen der Robot.txt. Sie können dies jedoch abstellen, so dass keine Restriktionen für den Spider bestehen und die komplette Homepage gespidert wird.

Beachten Sie aber, dass Sie jedes mal wenn Sie die Robots.txt ignorieren möchten, dies manuell, durch Deaktivierung des Kontrollkastens im Navigationsmenü tun müssen, denn die Grundeinstellung des Spiders ist die Robots.txt zu akzeptieren.

www.livespider.de hat keinen speziellen Spider(Robot)-Namen und hält sich an alle (*) Disallow einträge in der Robots.txt. Für Spezialisten, und welche die es werden möchten, empfielt sich das Memo: 'A Method for Web Robots Control'.