Welcome back, Google Bot!
Tja, das war dann wohl so ein typischer Fall von »vor lauter Bäumen den Wald nicht mehr sehen«. Oder: Probleme da suchen, wo sie nicht sind. Es geht um die Geschichte »Blog-Beiträge nicht mehr im Google Index«… Das PageRank-Update, die Google Blog Search, eine Google Verschwörung – das alles habe ich als Verursacher verdächtigt. Doch war die Lösung einfacher als gedacht…
Irgendwann kam ich auf die Idee, meine Websites mit den Google Webmaster Tools noch einmal näher unter die Lupe zu nehmen. Dort wird nämlich angezeigt, wann der Google Bot das letzte Mal vorbeigeschaut hat. Und er kam nach wie vor regelmäßig vorbei, indizierte nur keine Beiträge mehr. Ein weiterer Klick auf »robots.txt analysieren« hatte dann eine Überraschung parat: User-agent: * Disallow: stand da.
Die etwas fachkundigeren Leser wissen: Jeglicher Bot war vom kompletten Server ausgeschlossen. Toll! Dabei nutze ich doch eigentlich gar keine robots.txt. Eigentlich. Wäre da nicht vor ein paar Wochen ein privates Projekt, das ich von allen Suchmaschinen ausschließen wollte, auf dem Server. Und da hatte ich eine fehlerhafte robots.txt angelegt, die nicht nur das Verzeichnis sperrte, sondern direkt den ganzen Server – na super!
Also: Willkommen zurück, lieber Google Bot!
hrhr
ich hab mich die ganze Zeit gefragt was du wohl verbrochen hattest, weil ich sonst nirgens von dem problem gelesen hatte.
welcome back im index sach ich dann mal ;)
So ganz hat’s der Bot wohl noch nicht geschluckt… Aber ich hoffe, dass bald auch wieder schnell die neuen Beiträge in den Index gelangen, und nicht nur die Startseite im Index aktualisiert wird. Kann natürlich etwas dauern, bis sich wieder alles normalisiert hat ;-)
Bist Du sicher, dass die Anweisung für den gesamten Server gilt?
Ich dachte immer, die Robots.txt bezieht sich nur auf die jeweilige Domain ….
@ Michael: Hmm, vielleicht hätte ich das hier nicht synonym verwenden sollen. Es hat sich nur natürlich nur auf die Domain bezogen.