* Bjoern Hoehrmann wrote: > Ich hab vor einiger Zeit mit etwas Fassungslosigkeit zur Kenntnis ge- >nommen, dass die Kontrolle von neuen Artikeln inklusive dem Stellen von >Schnelllöschanträgen bzw. dem administrativem Schnelllöschen im Wesent- >lichen manuell erfolgt. Ich hab daraufhin angeregt, die neuen Artikel >einfach mal durch einen klassichen Spamfilter zu schicken um so Tasta- >turtests und derlei automatisch zu erkennen (und dann gegebenenfalls >gleich zu verhindern).
Ich hab das Experiment nochmal wiederholt von 2010-01-24T18:51:18Z bis 2010-01-26T09:38:30Z mit 2127 neuen Artikeln bzw. Weiterleitungen. Die Lernmethode habe ich leicht angepasst, wenn der Hyperspace classifier einen pR-Wert von unter 0.55 liefert, wird der Artikel nachgelernt. Es wurde jeweils die Kombination "Lemma - Benutzer - ZQ - Text" betrachtet. Nicht betrachtet habe ich diesmal Weiterleitungen und zähle es nicht als Fehler, wenn die erste Revision einer Neuanlage automatisch ge- sichtet wurde, CRM114 aber eine Löschung prophezeit. Die Fehler teilen sich so auf: 46 mal (inklusive der Lernphase) falsch "löschen", davon inzwischen 2 x URV 4 x Gelöscht (sprich, nach Ende der Aufzeichnung) 5 x Redirect draus gemacht 12 x LA 23 x Ausgebaut, Erkennungsfehler, ... 77 mal (inklusive der Lernphase) falsch "behalten", davon inzwischen 1 x Wieder da als URV 2 x Wieder da als Redirect 1 x Wieder da nach BNR Überarbeitung 73 x Blieb gelöscht Das wäre also eine Fehlerrate von irgendwo zwischen (46 + 77) / 2127 = 5.78% (23 + 73) / 2127 = 4.51% Eine gewisse Fehlerrate ist natürlich zwangsläufig, Relevanz und Re- dundanz und Urheberrechtsverletzungen lassen sich so natürlich nicht aufspüren, ebenfalls findet man schnelle Ausbauten nicht, zum Beispiel http://de.wikipedia.org/w/index.php?oldid=69757056 wäre ein Fall wo die Löschung nahe lag, zwei Stunden später dann aber nicht mehr. Und natürlich sind auch einige nicht nachvollziehbare Schnellöschungen da- bei. Bei den Neuanlagen die gelöscht wurden schaffte es nur ein Drittel länger als zwei Minuten zu bleiben, ein Drittel war in unter einer halben Minute weg, der Median liegt um und bei 53 Sekunden. Damit sehe ich meine im Dezember geäusserte Vermutung bestätigt, dass man den Anteil der richtigen Voraussagen problemlos auf 95% steigern kann, allerdings reichte eine leicht angepasste Lernmethode und eine etwas saubere Datenbasis aus, bei der Evaluierung sehe ich auch nicht, dass man über eine Analyse des Wikifizierungsgrades oder derlei noch viel herausholen könnte. Die Benutzeraktivität habe ich hier insoweit berücksichtigt, als dass ich das automatische Sichten der ersten Re- vision herangezogen habe. Interessanter Weise, wie ich grad noch festgestellt habe, ist der In- halt der Kommentarzeile (zusammen damit, Sichtern alles durchgehen zu lassen) fast ausreichend um auf eine Richtig-Erkennungs-Rate von 92% zu kommen. Offenbar ist "Lemma - Benutzer - ZQ - Text" analysieren zu lassen auch nicht unbedingt die beste Methode, nimmt man "- Text -" alleine verbessert sich die Rate auf 95.25%, nimmt man noch ein paar von den Problemfällen von oben hinzu (ohne jetzt geguckt zu haben wie die genauen Auswirkungen sind) wäre man damit wohl bei bei einer Feh- lerrate von unter 4%. -- Björn Höhrmann · mailto:[email protected] · http://bjoern.hoehrmann.de Am Badedeich 7 · Telefon: +49(0)160/4415681 · http://www.bjoernsworld.de 25899 Dagebüll · PGP Pub. KeyID: 0xA4357E78 · http://www.websitedev.de/ _______________________________________________ WikiDE-l mailing list [email protected] https://lists.wikimedia.org/mailman/listinfo/wikide-l
