| Damit durch www.livespider.de keine Webserver 'abgeschossen' werden können wurden einige Schutzmechanismen eingebaut: |
| |
 Nach jeder gespiderten Seite legt der Spider eine kurze Pause ein.
|
Wird eine Domain gespidert, so ist sie für eine gewisse Zeit gesperrt. Diese Zeit beträgt 2 Minuten im Memberbereich und 5 Minuten im öffentlichen Bereich.
|
Im öffentlichen Bereich muss die Robots.txt berücksichtigt werden.
|
Im öffentlichen Bereich besteht ein Linklimit. Seiten mit mehr als 50 Links, werden nicht weiter verfolgt.
|
| |
