Software Guide

Technorati bietet seit einiger Zeit mit dem sog. Link Count Widget die Möglichkeit, praktisch in Echtzeit die Anzahl der Links aus anderen Blogs auf die jeweiligen Beiträge anzuzeigen (“… blog reactions”):

Der Einbau ist sehr simpel, man kopiert einfach ein Codeschnipsel ins CMS oder Blog-System. Damit es funktioniert, muss der Besucher Javascript aktiviert haben.

Der Bookmarking-Service del.icio.us bietet nun auch ähnliches Widget an (via Techcrunch), welches u.a. die Anzahl del.icio.us-User anzeigt, die einen Beitrag dort gebookmarkt haben. Der Einbau erfolgt wie bei dem Technorati-Widget per Codeschnipsel.

Leider lässt sich das del.icio.us-Widget nicht so klein wie das Technorati-Widget darstellen, so dass man sich damit ein kleines Monstrum auf die Webseite setzt.

Zwei gravierende Nachteile haben beide Widgets: Zum einen erfolgt die Ausgabe nur in Englisch und ist damit für nicht englischsprachige Webseiten nicht gut geignet. Zum anderen lässt sich das Erscheinungsbild (Farben etc.) nicht an das Webseitendesign anpassen.

Meines Wissens bieten aber sowohl Technorati als auch del.icio.us eine API an, damit man z.B. per PHP direkt diese Informationen abgreifen kann. Dies wäre meines Erachtens eine interessantere Umsetzung und könnte damit sauber in die Webseite integriert werden.

Was ist eigentlich ein Trackback? Diese Frage stellt sich wohl jeder, der mit dem Bloggen anfängt. Ich habe daher eine Erklärung im Sendung-mit-der-Maus-Stil geschrieben, siehe Was sind Trackbacks?.

Zukünftig werden noch weitere Artikel dieser Art folgen.

Vor ein paar Stunden hatte ich bereits über meine Unzufriedenheit und Misstrauen gegenüber dem Trackback-Validator-Plugin von der Rice-Universität aus Texas geschrieben.

Ich habe daher ein eigenes Plugin geschrieben, welches ich nach mehreren Tests nun veröffentlicht habe: Simple Trackback Validation Plugin

Da Trackbacks immer einen Link zur Quellseite enthalten, werden diese von Trackback-Spammern missbraucht, um viele Links auf eine Zielseite zu platzieren. Das Simple-Trackback-Validation-Plugin überprüft nun bei jedem Trackback anhand des Links, ob auf der Quellseite auch wirklich zurückverlinkt wird, denn das ist eine Bedingung und ungeschriebenes Gesetz beim Einsatz von Trackbacks. Befindet sich auf der Ausgangsseite kein Link zum eigenen Blog, so wird der Trackback nicht veröffentlicht und landet in der WordPress Kommentar-Moderation. Von dort aus kann man dann die Trackbacks dauerhaft löschen oder veröffentlichen.

In den Plugin-Optionen kann man URLs angeben, die als Bestandteil ausreichend sind, um einen Trackback zu akzeptieren.
Das bedeutet: Normalerweise muss der Permalink exakt angegeben werden; wird aber z.B. nur auf die Blog-Startseite verlinkt, so landet der Trackback auf einen Artikel in der Kommentar-Moderation. Will man das nicht, so gibt man einfach die Blog-URL (z.B. “http://deine-seite.de/blog/”) in den Optionen ein, damit werden solche Trackbacks immer freigegeben. Das Plugin kann allerdings nicht erkennen, ob die Blog-URL lediglich in der Sidebar steht (Blogroll). Daher empfehle ich, das Feld in den Optionen nicht auszufüllen und damit die strenge Variante einzusetzen, bei der der Permalink 1:1 übereinstimmen muss.

Update:
Ich habe vorhin die Version 1.1 veröffentlicht, damit kann man nun in den Plugin-Optionen wählen, ob die Spam-Trackbacks in der Kommentar-Moderation erscheinen sollen oder stattdessen als Spam gekennzeichnet werden sollen. Wird die Spam-Kennzeichnung ausgewählt, ist jedoch z.B. das Plugin Akismet notwendig, da man sonst diese Trackbacks nicht mehr sieht.

Für das Blogsystem WordPress gibt es das sehr weit verbreitete Plugin Trackback Validation. Viele setzen es ein, und irgendwie vertraut man dem Ding auch, stammt es doch von der Rice University, zumindest lt. Webseitenangaben.

Frank Bültge hatte sich das Plugin schon genauer angesehen und festgestellt, dass MySQL-Tabellen beschrieben werden. Daher hat er auch ein Plugin veröffentlicht, um diese Tabellen zu bereinigen.

Schaut man sich den Sourcecode jedoch näher an, so entdeckt man eine Unstimmigkeit:
In den Optionen ist bei Installation folgendes bereits selektiert: “Submit data to the Computer Security Lab at Rice University for research. Tatsächlich wird erst durch das Setzen dieses Hakens eine WordPress-Tabelle geführt, wobei jeder Trackback an diese Uni übertragen wird. Da stellt sich schon mal die Frage, was die Uni mit all den Trackbacks will. Transparenz? Nein, die Uni hält es natürlich nicht für nötig, auf der Webseite darüber zu informieren. Diese MySQL-Tabelle wird dabei ausschließlich für die Uni geführt, Kommentare werden zusätzlich in der Kommentar-Tabelle abgelegt, wenn nicht freigegeben.

Steigt man tiefer ein, so sieht man, dass die Uni die PHP-Klasse Snoopy einsetzt. Diese ermöglicht es, Webseiten per PHP auszulesen, um z.B. an die URLs zu kommen. Kein Problem soweit. Allerdings setzt die Uni die Version 1.2 von Snoopy ein, nur gab es von Snoopy u.a. am 24.10.2005 ein sog. “Snoopy 1.2.1 bug fix and security release”. Das Datum von Dateien im Zip-Archiv des Plugins ist allerdings neuer, außerdem steht auf der Webseite der Uni 21 May 2006: Bugfix release: 0.7.1.

Das bedeutet: Die sog. Rice University vertreibt alten, verseuchten Code und sieht es nicht für notwendig an, bei Updates auch die mitgeführten Daten zu aktualisieren. Ich weise deshalb so drastisch darauf hin, weil doch gerade eine Uni hier eine Vorzeigerolle spielt und nicht schlampen sollte.

Der Witz steht dann auch noch hier:

We are actively developing additional heuristics to add to the plugin; if you observe TrackBack spam that makes it past this plugin, please let us know.

Fakt ist, dass die Hauptarbeit die Open-Source-Klasse Snoopy macht. Das Plugin führt lediglich einen kleinen Regex-Aufruf durch. Heuristik? Im Plugin ist jedenfalls nichts zu spüren.

Wie geht es weiter?
Ich habe aufgrund dieser Erkenntnisse beschlossen, ein eigenes Trackback-Validierungs-Plugin zu schreiben. Ist auch schon fertig und wird gerade von mir hier auf Software Guide getestet. Ich werde es in den nächsten Tagen veröffentlichen. Ich setze damit die neueste Snoopy-Version ein und es gibt eine Möglichkeit, Trackback-Spam ganz streng zu beurteilen (Permalink muss exakt übereinstimmen) oder das ganze weicher zu fahren (irgend ein Link auf Blog reicht).

Fortsetzung folgt ;-)

Vorkommnisse

Am 22. Juni berichtete ich von vermehrtem Spamaufkommen auf Software Guide: innerhalb weniger Stunden über 500 neuer Spam-Beiträge. Am 26. Juni berichtete ich von einer Verzehnfachung, also mehrere tausend Spam-Beiträge/Tag, und mögliche Abhilfen. Am 4. Juli hatte ich daraufhin das Mathe-Antispam-Plugin veröffentlicht.

Robert Basic berichtete fast parallel ebenfalls von massiven Problemen mit Spam, bei ihm war das ganze noch einen Schritt weiter, da teilweise lange Wartezeiten auftraten aufgrund der Spamattacken, also massiv negativer Einfluss auf die Server-Performance (siehe u.a. Spam-Stats und Gegenmaßnahmen).
Denis hatte es noch härter erwischt.

Auslöser

Hauptauslöser waren massive direkte Spamattacken per Bots, diese gingen nicht über Trackback/Pingback, sondern direkt über die Kommentar-Funktion.

Das Problem ist in keinem der Fälle, dass tatsächlich Spam durchkommt, denn etweder wurde Akismet oder Spamkarma eingesetzt. Beide WordPress-Plugins haben einen unterschiedlichen Ansatz, arbeiten aber sehr zuverlässig.

Hauptprobleme

Die Hauptprobleme waren vielmehr:

• Wird ein (Spam-)Kommentar abgegeben, so erfolgen durch diese Plugins mehrere Schreib- und Lesevorgänge in der MySQL-Datenbank, was bei Attacken den Server entsprechend beansprucht und ausbremsen kann.
• Bei mehreren tausend als Spam eingestuften Kommentaren kann es vorkommen, dass dazwischen False Positive sind, also echte Kommentare, die als Spam eingestuft wurden. Diese gehen in den Massen allerdings unter und werden vom Administrator gelöscht. Aus der Tätigkeit der Moderation wird also bei mehreren tausend Spams/Tag nur ein “per Mausklick alle als Spam gekkenzeichneten Nachrichten löschen”.

Lösung

Als Lösung wurde von Software Guide daraufhin Folgendes eingesetzt:

1. Math Comment Spam Protection Plugin:
   Das Plugin habe ich vor wenigen Tagen geschrieben, es stellt beim Kommentieren simple Mathe-Aufgaben. Mehr zu dem Plugin siehe unten.
2. Trackback Validator Plugin: Markiert alle Trackbacks als Spam, welche auf dem verlinkenden Blog keinen Back-Link zur getrackbackten Seite haben.
3. Akismet: Läuft weiterhin im Hintergrund und blockt alles, was trotzdem durchkommt.

Auf Software Guide ist das Konzept bisher aufgegangen, kein einziger Kommentar kam durch, die Anzahl der als Spam markierten Kommentare ging auf < 20 Stück / Tag zurück.

Robert verwendet seit 06.07. ebenso dieses Konzept, wie er unter Die sanfteste Methode gegen Werbemüll berichtet, und scheint bisher ebenso gute Erfahrungen zu machen.

Mathe-Anti-Spam

Die meisten Spams blockt von Anfang an das Math Comment Spam Protection Plugin. Diskussionen dazu siehe auch unter Dr. Web: Spamschutz mit Rechenaufgaben.
Das Plugin stellt in seiner Version 1.0 einfachste Additionsaufgaben. Selbstverständlich lässt sich das per Bot sehr einfach umgehen, indem man das HTML ausliest und die Summe entsprechend übergibt. Allerdings verwenden derzeit nur die wenigsten Blogs einen solchen Schutz, somit ist die Abdeckung für Spammer völlig uninteressant.

Weiter plane ich für die Zukunft, das Plugin entsprechend zu erweitern und auch die Ausgaben der Zahlen und Operatoren als Text anzubieten, u.v.m.

Bilder und Captchas möchte ich nicht verwenden, da diese die Zugänglichkeit weiter einschränken. Zudem sind auch Captchas meist sehr einfach durch Bots lösbar, siehe PWNtcha – captcha decoder, Using AI to beat CAPTCHA oder W3C: Inaccessibility of CAPTCHA.

Das mit den Matheaufgaben ist nur eine Maßnahme von mehreren, und ist sicherlich verbesserungswürdig. Da aber heute der allergrößte Teil aller Webseiten keinerlei solcher oder ähnlicher Maßnahmen zur Spam-Abwehr treffen, ist diese Maßnahme sehr wirkungsvoll. Einige Webmaster nutzen von noch einfachere Möglichkeiten, wie etwa eine Checkbox (Kommentar wird nur gespeichert, wenn diese gesetzt ist) oder Kommentarvorschau. Das Plugin mit den Matheaufgaben ist da einen Schritt weiter, aber sperrt keine Anwender aus (als wie es etwa bei Captchas der Fall ist), auch da die Aufgaben selbst sehr einfach gehalten sind.
Die Rechenaufgaben zu berücksichtigen ist für Spammer zum heutigen Stand völlig uninteressant, da dieses Antipspam-Verfahren nur von einer minimalen Anzahl an Webseiten genutzt wird. In ein paar Jahren mag dies anders aussehen, aber bis dahin gibt es auch eine neuere Version des Plugins :-)