bots
#6
Mittels der robots.txt geht der auch auf einzelne Seiten:
Man muss ihm nur sagen wohin er gehen soll und wohin nicht.

Einfach nach robots suchen. Zerogiven hat dazu z.b. ein tutorial.
  Zitieren


Nachrichten in diesem Thema
bots - von trefixxx - 06.05.2004, 14:39
[Kein Betreff] - von Zerogiven - 06.05.2004, 14:46
[Kein Betreff] - von kickedINtheHEAD - 06.05.2004, 14:52
[Kein Betreff] - von pattex - 06.05.2004, 16:50
[Kein Betreff] - von trefixxx - 06.05.2004, 17:25
[Kein Betreff] - von pattex - 06.05.2004, 17:28
[Kein Betreff] - von trefixxx - 06.05.2004, 17:51
[Kein Betreff] - von cHAp - 06.05.2004, 18:38
[Kein Betreff] - von pattex - 06.05.2004, 18:42
[Kein Betreff] - von cHAp - 06.05.2004, 19:22
[Kein Betreff] - von Zerogiven - 07.05.2004, 06:42

Gehe zu:


Benutzer, die gerade dieses Thema anschauen: 2 Gast/Gäste