RSS Feed abonnieren

Kategorie 'YaCy'

YaCy und myblog.de

06. September 2009 von Uwe
YaCy und myblog.de

Mein YaCy Peer crawlt gerade die Blogs auf myblog.de. Die Seiten lassen sich gut crawlen und die Server scheinen verdammt fix. Bis zu 2200 PPM (pages per minute) konnte ich beobachten.

Weiterlesen »
0 Kommentare

Die 38463 besten Blogs auf wordpress.com?

23. August 2009 von Uwe
Die 38463 besten Blogs auf wordpress.com?

Die Crawls auf wordpress.com sind abgeschlossen. Sicherlich wurde nur ein Bruchteil aller Domains erfaßt. Eine Domain entspricht jeweils einem Blog. Da der Crawler von Link zu Link wandert und dementsprechend nur verlinkte Blogs fand, nehme ich an diese 38463 Blogs gehören zu den aktivsten bzw. attraktivsten die auf wordpress.com gehostet werden. Sonst hätte sie niemand verlinkt.

Weiterlesen »
1 Kommentar

YaCy & die Blogs von wordpress.com – 5 Stunden später

19. August 2009 von Uwe
YaCy &  die Blogs von wordpress.com – 5 Stunden später

Ca. 4-5 Stunden

Weiterlesen »
0 Kommentare

YaCy crawlt gerade Blogs auf de.wordpress.com

19. August 2009 von Uwe
YaCy crawlt gerade Blogs auf de.wordpress.com

Meinem YaCy Peer hab ich eine schöne Aufgabe zugewiesen: Das Crawlen von de.wordpress.com mit den einzelnen Blogs. Jeweils 100 Seiten je (Sub-) Domain (also Blog) werden gecrawlt, beschränkt auf *.wordpress.com und keine Beiträge vor 2009 (sofern die Archiv-Struktur dies hergibt)

Nach wenigen Minuten hatte der Crawler gut zu tun, sprang von Seite zu Seite und erfaßte diese mit einer Geschwindigkeit von bis zu 1065 PPM (pages per minute).

Weiterlesen »
0 Kommentare

Mag blog.de YaCy nicht?

18. August 2009 von Uwe

Das Crawlen von blog.de und dessen Subdomains (die einzelnen Blogs) ist mit YaCy aktuell nicht möglich. In der robots.txt ist zwar kein Eintrag zu YaCy zu finden, allerdings wird jeder User-Agent der nach YaCy aussieht recht hart (vermutlich per Rewrite-Rules) geblockt. Man bekommt dann statt der Seite einen HTTP Fehler 500 zurück.

Weiterlesen »
1 Kommentar

tempo@deruwe.de jl@deruwe.de