Googlebot und das File Management-Plugin

Vielleicht ist dem Einen oder Anderen ja schon aufgefallen, dass sich das File Management-Plugin hier auf der Site ungewöhnlicher Beliebtheit zu erfreuen scheint (siehe "Top 10 Downloads"-Blocks rechts). Ein Blick in die Logfiles zeigt, dass das Plugin offenbar einen glühenden Verehrer hat: Googlebot, der Robot der Suchmaschine Google, hat das Plugin alleine in diesem Jahr schon 1280(!) mal heruntergeladen ...

Mir ist zwar nicht klar, warum Googlebot ausgerechnet an dieser einen Datei einen Narren gefressen hat, aber so kann es offensichtlich nicht weitergehen. Auch wenn sich der dadurch erzeugte Traffic (1280 x 140 KB = 175 MB, d.h. ca. 40 MB pro Monat) in Grenzen hält, verfälscht es doch die Abrufstatistik "ein wenig". Und wehe, wenn er sich mal eine der größeren Dateien greifen sollte ...

Was kann man in so einem Fall tun? Die Antwort lautet robots.txt. Dabei handelt es sich um eine Datei im Wurzelverzeichnis einer Website, die den Suchmaschinen-Robots mitteilt, welche Bereiche einer Site sie betreten dürfen und welche nicht. Alle nennenswerten Suchmaschinen halten sich an die Angaben in dieser Datei.

Mehr Infos: Mit der Datei robots.txt Seiten vor Robots schützen, robotstxt.org (englisch) und, auch sehr nützlich, ein Validator für die robots.txt, damit man sicher sein kann, dass die Datei auch syntaktisch korrekt aufgebaut ist.

Die robots.txt für geeklog.info sieht jedenfalls jetzt so aus:

User-agent: *
Disallow: /filemgmt/

Übersetzung: Alle Roboter ('*') sind willkommen, sollen aber vom filemgmt-Verzeichnis die Finger lassen. Mittlerweile waren auch mehrere Instanzen des Googlebots wieder zu Besuch und haben sich die neue robots.txt geholt. Zugriffe auf das filemgtm-Verzeichnis (oder gar das Archiv mit dem Plugin) gab es vom Googlebot seither nicht mehr.

bye, Dirk