Folgende Frage, denn ich weiß zur Zeit nicht weiter.
ich betreibe eine u.a. eine News und Informationswebseite, die an sich auch bei den Google News aufgenommen ist. Seit ca. 5 Tagen werden die News jedoch nicht mehr bei den Google News gelistet. Also einen Blick bei den Webmastertools von google rein geschaut. Da steht, dass tatsächlich ein Fehler vorhanden ist.
"Vor dem Durchsuchen der Seiten Ihrer Website haben wir versucht, die Datei robots.txt zu überprüfen, um sicherzustellen, dass wir keine Seiten durchsuchen, die Sie durch robots.txt blockiert haben. Die Datei robots.txt war jedoch nicht erreichbar. Wir haben unser Crawling zurückgestellt, um sicherzustellen, dass wir keine in dieser Datei aufgeführten Seiten durchsuchen. Wenn dies auftritt, greifen wir zu einem späteren Zeitpunkt erneut auf Ihre Website zurück und durchsuchen sie, sobald wir die Datei robots.txt erreichen können. Beachten Sie, dass sich dies von einer 404-Antwort bei der Suche nach der Datei robots.txt unterscheidet. Wenn wir den Fehler 404 erhalten, gehen wir davon aus, dass die Datei robots.txt nicht vorhanden ist, und fahren mit dem Crawling fort."
Dann habe ich nachgeschaut im FTP Server. Die robots.txt ist jedoch noch vorhanden und auch nicht verändert. Also habe ich nochmal abgewartet. Aber am 30.12. und am 31.12. wurde diese Fehlermeldung nochmals raus gegeben. Im Robots.txt ist angegeben, dass alle Seiten gespidert werden können. Davor gabs damit auch keine Probleme. Seit dem sind weder die News aufgenommen worden, noch wurde die Webseite normal gespidert.
Nun habe ich robots.txt ganz raus genommen, um zu schauen, was passiert. Weil, wenn 404 ausgegeben wird, dann müßte eigentlich ganz normal das Crawling von Google gestartet werden. Was meint Ihr? Habt Ihr auch schon mal ein derartiges Problem gehabt?
P.s. Google Support habe ich kontaktiert. Bisher keine Antwort...
ich betreibe eine u.a. eine News und Informationswebseite, die an sich auch bei den Google News aufgenommen ist. Seit ca. 5 Tagen werden die News jedoch nicht mehr bei den Google News gelistet. Also einen Blick bei den Webmastertools von google rein geschaut. Da steht, dass tatsächlich ein Fehler vorhanden ist.
"Vor dem Durchsuchen der Seiten Ihrer Website haben wir versucht, die Datei robots.txt zu überprüfen, um sicherzustellen, dass wir keine Seiten durchsuchen, die Sie durch robots.txt blockiert haben. Die Datei robots.txt war jedoch nicht erreichbar. Wir haben unser Crawling zurückgestellt, um sicherzustellen, dass wir keine in dieser Datei aufgeführten Seiten durchsuchen. Wenn dies auftritt, greifen wir zu einem späteren Zeitpunkt erneut auf Ihre Website zurück und durchsuchen sie, sobald wir die Datei robots.txt erreichen können. Beachten Sie, dass sich dies von einer 404-Antwort bei der Suche nach der Datei robots.txt unterscheidet. Wenn wir den Fehler 404 erhalten, gehen wir davon aus, dass die Datei robots.txt nicht vorhanden ist, und fahren mit dem Crawling fort."
Dann habe ich nachgeschaut im FTP Server. Die robots.txt ist jedoch noch vorhanden und auch nicht verändert. Also habe ich nochmal abgewartet. Aber am 30.12. und am 31.12. wurde diese Fehlermeldung nochmals raus gegeben. Im Robots.txt ist angegeben, dass alle Seiten gespidert werden können. Davor gabs damit auch keine Probleme. Seit dem sind weder die News aufgenommen worden, noch wurde die Webseite normal gespidert.
Nun habe ich robots.txt ganz raus genommen, um zu schauen, was passiert. Weil, wenn 404 ausgegeben wird, dann müßte eigentlich ganz normal das Crawling von Google gestartet werden. Was meint Ihr? Habt Ihr auch schon mal ein derartiges Problem gehabt?
P.s. Google Support habe ich kontaktiert. Bisher keine Antwort...