robots.txt

Eine simple ASCII Datei im Root (=Stammverzeichnis) des Servers. Mit ihrer Hilfe werden bestimmte Spider von bestimmten Verzeichnissen oder Seiten ausgeschlossen.

Zurück