bots

[pattex]

Mittels der robots.txt geht der auch auf einzelne Seiten:
Man muss ihm nur sagen wohin er gehen soll und wohin nicht.

Einfach nach robots suchen. Zerogiven hat dazu z.b. ein tutorial.