Rivvabot/2.0: Nach 14 Jahren ein neuer Webcrawler
– Ich habe die Zeit seit dem Spendenruf also damit verbracht, unter anderem einen neuen Webcrawler zu schreiben.
Nummer eins war das allererste Commit ins Git-Repository (* welches an diesem 22.1.2007 bloß »memetracker« hieß) und verfolgte das Grundprinzip, dass Vertrauen transitiv vererbt wird: „Von einer Menge vertrauenswürdiger Quellen ausgehend, folge ihren Empfehlungen (Outlinks) und zähle die so gefundenen Seiten – je nach Eigenschaft – zur vertrauten Menge. (Wiederhole unendlich.)“
Der neue Bot kombiniert nun ein gutes Dutzend solcher Strategien. Am wichtigsten für den neuen Ansatz war jedoch, auf welche Weise die Community und Vernetzung – jede Seite umgebend – ausschlaggebender würde. Wie das dann künftig zu mehr Vielfalt führen soll, dazu morgen in »Everything and its Hashtag«.