Wir wollen natürlich vermeiden, dass Google unsere Site schlecht bewertet, weil es nicht alle Inhalte sieht, die wir auf ihr zeigen. Das Piwik-JS gehört dazu. Wie habt ihr das gelöst?
Ich bin mir aber nicht sicher, ob das nicht nur als freundlicher Hinweis, dass etwaige Inhalte der javascript Datei nicht indiziert werden können, interpretiert werden.
bei mir sind die blockierten jetzt aus dem Google-Indes rausgeflogen, das heißt, dass das ganze jetzt kein Spaß mehr ist. Die Frage ist, was passiert, wenn man die Robot.txt. auf allow * ändert.
Denn fast jede bekannte Seite bettet externe Skripts ein, die irgendwelche Werbung anzeigen und diese domains werden meistens nicht von Google indiziert.
Spontanes Beispiel: https://derstandard.at/ lädt bei mir Werbung nach. Zum Beispiel ein Skript mit der URL https://ad1.adfarm1.adition.com/s?t=iboN2vM&v=1&w=122350578&a=1&b=11&f=0&o=6&r=184&p=lad(1)ues(1)https(1)a(3)k(0)e(4)g(1)s(1)f(5)h(1)m(1)i(5)o(2)fi(4)le(1)ag(0)pf(0)hy(0)uh(0)gp(1)kr(0)tk(1)we(1)rm(1)mi(0)wn(1)sw(0)bi(0)ak(0)op(4)ch(4)el(4)da(3)ga(4)em(3)tr(3)ed(4)ne(2)frq(1)dcs(4)dcc(4)ddp(3)dcp(5)hss(1)hsl(1)hsh(1)hsy(0)hso(1)hsm(0)hsg(0)hst(1)hsb(0)hsf(0)hsd(0)hsn(0)hsk(0)hse(1)covelux(1&s=3212342*3212354*3212330*3212334*3212335*3212336*3354963*3354972*3712585
Wenn ich nun aber https://ad1.adfarm1.adition.com/robots.txt aufrufe, sehe ich, dass diese Domain für fast alle Bots blockiert ist:
Und dennoch hat derstandard.at keine Probleme von Google zu indiziert werden.
Wenn dies dennoch ein Problem bei dir ist, kannst du einfach die robots.txt löschen (oder noch besser: durch eine leere Datei ersetzen). Dann wird Google keinen Fehler mehr anzeigen, aber dafür die Login-Seite von Piwik indizieren und in den Suchergebnissen anzeigen.
Die einzige die mir (außer die robots.txt zu verändern) einfällt, erfordert etwas Programmierarbeit:
Du könntest deine Webseite so umschreiben, dass der Piwik Tracking Code nur eingebunden wird, wenn der User Agent des Besuchers nicht googlebot enthält:
