Mag blog.de YaCy nicht?

Das Crawlen von blog.de und dessen Subdomains (die einzelnen Blogs) ist mit YaCy aktuell nicht möglich. In der robots.txt ist zwar kein Eintrag zu YaCy zu finden, allerdings wird jeder User-Agent der nach YaCy aussieht recht hart (vermutlich per Rewrite-Rules) geblockt. Man bekommt dann statt der Seite einen HTTP Fehler 500 zurück.

Testen kann man dies recht einfach, indem man den Browser mal eben wie YaCy aussehen läßt, dank Anleitung für Firefox und einer Liste möglicher YaCy User-Agents kein Problem. Mal ganz abgesehen von einer Trafficbegrenzung je IP, die auf den Seiten von blog.de zuschlägt sobald man ein bestimmtes Limit an Seitenaufrufen je Zeiteinheit überschritten hat (z.B. durch Crawlen).

Tags: Blogs, YaCy

Dieser Artikel wurde Dienstag, den 18. August 2009, um 10:21 Uhr unter YaCy eingestellt. Kommentare zu diesem Artikel können über das RSS 2.0 Feed verfolgt werden.