derUwe.de » Blogs

YaCy und myblog.de

Uwe — Sun, 06 Sep 2009 16:43:33 +0000

Mein YaCy Peer crawlt gerade die Blogs auf myblog.de. Die Seiten lassen sich gut crawlen und die Server scheinen verdammt fix. Bis zu 2200 PPM (pages per minute) konnte ich beobachten.

Bis zu 2200 PPM auf myblog.de

Insgesamt macht myblog.de einen recht guten ersten Eindruck auf mich – nicht nur aufgrund der Performence, auch lassen sich einzelne Blogs per Passwort schützen, dass nur ausgewählte Personen diese lesen können.

Die 38463 besten Blogs auf wordpress.com?

Uwe — Sun, 23 Aug 2009 19:52:38 +0000

Die Crawls auf wordpress.com sind abgeschlossen. Sicherlich wurde nur ein Bruchteil aller Domains erfaßt. Eine Domain entspricht jeweils einem Blog. Da der Crawler von Link zu Link wandert und dementsprechend nur verlinkte Blogs fand, nehme ich an diese 38463 Blogs gehören zu den aktivsten bzw. attraktivsten die auf wordpress.com gehostet werden. Sonst hätte sie niemand verlinkt.

Teil der Linktopologie um de.wordpress.com

Die Liste

Hinweis: Diese Linkliste kam durch einen Crawler zustande und dient rein statistischen, technischen bzw. wissenschaftlichen Zwecken. Ich habe keine Kenntnis von Inhalten auf diesen Seiten. Die verlinkten Inhalte geben nicht meine Meinung wieder. Aufgrund der Menge der Daten war es mir nur stichprobenartig möglich diese auf womögliche illegale Inhalte zu überprüfen. Sollte jemand illegale Inhalte entdecken, bitte Nachricht an mich und ich werde den Link sofort entfernen.

Liste als Textdatei

Download Textdatei

Linktopologie

Auch gibt es noch ein extragroßes Bild der Linktopologie zum Download.

Vorsicht, das Bild ist 8000×8000 Pixel. Bei einem nicht leistungsfähigem Rechner kann beim Aufruf der Browser abstürzen.

YaCy & die Blogs von wordpress.com – 5 Stunden später

Uwe — Wed, 19 Aug 2009 16:31:45 +0000

Ca. 4-5 Stunden YaCy Crawler immernoch fleißig vor sich hin und das Bild zur Link-Topologie hat sich in der Zwischenzeit deutlich gewandelt. Aber seht selbst.

Natürlich gibt es auch dieses Mal wieder eine besonders große Version.

Solche schönen Grafiken lassen das Herz eines “YaCyaners” gleich viel höher schlagen. Wer sich auf der Grafik wiederfindet und das Umfeld seines Blogs (auf wordpress.com) dargestellt haben möchte, schreibe mir bitte baldmöglichst einen Kommentar – sofern mir die Daten vorliegen, kein Problem. Besser ist natürlich ihr probierts selber aus.

(Bildquellen: eigener YaCy Client)

YaCy crawlt gerade Blogs auf de.wordpress.com

Uwe — Wed, 19 Aug 2009 13:32:32 +0000

Meinem YaCy Peer hab ich eine schöne Aufgabe zugewiesen: Das Crawlen von de.wordpress.com mit den einzelnen Blogs. Jeweils 100 Seiten je (Sub-) Domain (also Blog) werden gecrawlt, beschränkt auf *.wordpress.com und keine Beiträge vor 2009 (sofern die Archiv-Struktur dies hergibt)

Nach wenigen Minuten hatte der Crawler gut zu tun, sprang von Seite zu Seite und erfaßte diese mit einer Geschwindigkeit von bis zu 1065 PPM (pages per minute).

Unerklärlich ist mir warum dies nach ca. 20-30. Minuten einbrach und der Crawler auf unter 50 PPM fiel. Auch sonst folgte der Performance Graph plötzlich nicht mehr den von mir erwarteten Werten.

Nichts desto trotz entstand noch diese sehr schöne Grafik der Link-Topologie. Wie man sieht hat YaCy bisher nur einen kleinen Teil der Blogs besucht (die Ballung unten links) und deren Beziehung zueinander dargestellt. Ein schönes Spielzeug für solche die das Netz nach Neuem oder Interessantem durchstöbern.

Diese Grafik gibt es auch noch in besonders großer Auflösung.

Nachfolgend ein von mir spontan zusammengestellter Auszug der erfaßten Seiten (diese geben nicht unbedingt meine Meinung wieder), in unsortierter Reihenfolge, als Beispiele was man alles entdecken kann.

Wer sich die Mühe machen möchte alle dargestellten Domains abzutippen, ich nehm die Liste gern.

(Bildquellen: eigener YaCy Client)

Mag blog.de YaCy nicht?

Uwe — Tue, 18 Aug 2009 08:21:26 +0000

Das Crawlen von blog.de und dessen Subdomains (die einzelnen Blogs) ist mit YaCy aktuell nicht möglich. In der robots.txt ist zwar kein Eintrag zu YaCy zu finden, allerdings wird jeder User-Agent der nach YaCy aussieht recht hart (vermutlich per Rewrite-Rules) geblockt. Man bekommt dann statt der Seite einen HTTP Fehler 500 zurück.

Testen kann man dies recht einfach, indem man den Browser mal eben wie YaCy aussehen läßt, dank Anleitung für Firefox und einer Liste möglicher YaCy User-Agents kein Problem. Mal ganz abgesehen von einer Trafficbegrenzung je IP, die auf den Seiten von blog.de zuschlägt sobald man ein bestimmtes Limit an Seitenaufrufen je Zeiteinheit überschritten hat (z.B. durch Crawlen).