Flash
Aktives Mitglied
Hallo zusammen
Seit Tagen habe ich das Problem, dass Yahoo Crawler meine Seite durchstöbert.
Ich habe auf der einen Webpräsenz soviel Zugriffe, dass an einem Tag soviel Traffic zusammen kommt wie sonst höchstens im Monat. ( 1GB pro Tag)
Habt ihr ähnliche Erfahrung?
Gibt es eine Möglichkeit den Crawler auszusperren?
An die robots.txt hält sich der Crawler eh nicht.
via htacces habe ich den kompletten 74 IP Block gesperrt, was natürlich unter dem Strich auch nicht das ist was ich wollte.
Tipps? Tricks Erfahrungen?
Gruss
Rolf
Seit Tagen habe ich das Problem, dass Yahoo Crawler meine Seite durchstöbert.
Ich habe auf der einen Webpräsenz soviel Zugriffe, dass an einem Tag soviel Traffic zusammen kommt wie sonst höchstens im Monat. ( 1GB pro Tag)
Habt ihr ähnliche Erfahrung?
Gibt es eine Möglichkeit den Crawler auszusperren?
An die robots.txt hält sich der Crawler eh nicht.
via htacces habe ich den kompletten 74 IP Block gesperrt, was natürlich unter dem Strich auch nicht das ist was ich wollte.
Tipps? Tricks Erfahrungen?
Gruss
Rolf
