Hallo, ich habe in meinem Logfile gestöbert und viele, sehr viele Bots gefunden die mir, meiner meinung nach, gar nichts bringen. daher meine idee: ich lasse nur die guten zu, die wirklich traffic bringen:
Hier meine robots.txt
CODE
# Hier die Bots erlauben
User-agent: YahooSeeker/M1A1-R2D2
Disallow:
User-agent: Googlebot
Disallow:
User-agent: msnbot/2.0b
Disallow:
User-agent: msnbot/1.1
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Mediapartners-Google
Disallow:
# Hier den Rest aussperren
User-agent: *
Disallow: /
Meine Frage:
Gute Idee oder Nonsense?
Hier meine robots.txt
CODE
# Hier die Bots erlauben
User-agent: YahooSeeker/M1A1-R2D2
Disallow:
User-agent: Googlebot
Disallow:
User-agent: msnbot/2.0b
Disallow:
User-agent: msnbot/1.1
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Mediapartners-Google
Disallow:
# Hier den Rest aussperren
User-agent: *
Disallow: /
Meine Frage:
Gute Idee oder Nonsense?