Software Guide

Viele Blogbetreiber mit WordPress als Blog-System setzen das von mir geschriebene Plugin Simple Trackback Validation ein.

Das Plugin prüft bei jedem ankommenden Trackback, ob auf der Ursprungsseite auch wirklich auf die Zielseite verlinkt wird: wenn nicht, so wird der Trackback als Spam eingestuft und je nach Einstellung gelöscht, als Akismet-Spam gekennzeichnet oder in die Moderations-Warteschleife gestellt.

Das Plugin hatte jedoch folgendes Problem: Es wurde erst ausgelöst, nachdem ein Trackback in die Datenbank geschrieben wurde und nicht schon vorher. Dies hatte außerdem zur Folge, dass ein vom Plugin als Spam eingestufter Trackback z.B. noch die Prüfung durch andere Plugins wie z.B. Akismet durchlaufen hat: wurde nun ein durch ‚Simple Trackback Validation‘ als Spam gekennzeichneter Trackback von Akismet nicht als Spam eingestuft, so wurde eine E-Mail-Benachrichtigung an den Artikel-Autor abgesetzt, aber der Trackback selbst korrekt behandelt (gelöscht bzw. als Spam gekennzeichnet oder in Moderation gesetzt).

Lösung:
Ich habe nun die Version 2.0 veröffentlicht, die u.a. folgende neue Features bietet:
Weiterlesen…

Vor ein paar Stunden hatte ich bereits über meine Unzufriedenheit und Misstrauen gegenüber dem Trackback-Validator-Plugin von der Rice-Universität aus Texas geschrieben.

Ich habe daher ein eigenes Plugin geschrieben, welches ich nach mehreren Tests nun veröffentlicht habe: Simple Trackback Validation Plugin

Da Trackbacks immer einen Link zur Quellseite enthalten, werden diese von Trackback-Spammern missbraucht, um viele Links auf eine Zielseite zu platzieren. Das Simple-Trackback-Validation-Plugin überprüft nun bei jedem Trackback anhand des Links, ob auf der Quellseite auch wirklich zurückverlinkt wird, denn das ist eine Bedingung und ungeschriebenes Gesetz beim Einsatz von Trackbacks. Befindet sich auf der Ausgangsseite kein Link zum eigenen Blog, so wird der Trackback nicht veröffentlicht und landet in der WordPress Kommentar-Moderation. Von dort aus kann man dann die Trackbacks dauerhaft löschen oder veröffentlichen.

In den Plugin-Optionen kann man URLs angeben, die als Bestandteil ausreichend sind, um einen Trackback zu akzeptieren.
Das bedeutet: Normalerweise muss der Permalink exakt angegeben werden; wird aber z.B. nur auf die Blog-Startseite verlinkt, so landet der Trackback auf einen Artikel in der Kommentar-Moderation. Will man das nicht, so gibt man einfach die Blog-URL (z.B. „http://deine-seite.de/blog/“) in den Optionen ein, damit werden solche Trackbacks immer freigegeben. Das Plugin kann allerdings nicht erkennen, ob die Blog-URL lediglich in der Sidebar steht (Blogroll). Daher empfehle ich, das Feld in den Optionen nicht auszufüllen und damit die strenge Variante einzusetzen, bei der der Permalink 1:1 übereinstimmen muss.

Update:
Ich habe vorhin die Version 1.1 veröffentlicht, damit kann man nun in den Plugin-Optionen wählen, ob die Spam-Trackbacks in der Kommentar-Moderation erscheinen sollen oder stattdessen als Spam gekennzeichnet werden sollen. Wird die Spam-Kennzeichnung ausgewählt, ist jedoch z.B. das Plugin Akismet notwendig, da man sonst diese Trackbacks nicht mehr sieht.

Für das Blogsystem WordPress gibt es das sehr weit verbreitete Plugin Trackback Validation. Viele setzen es ein, und irgendwie vertraut man dem Ding auch, stammt es doch von der Rice University, zumindest lt. Webseitenangaben.

Frank Bültge hatte sich das Plugin schon genauer angesehen und festgestellt, dass MySQL-Tabellen beschrieben werden. Daher hat er auch ein Plugin veröffentlicht, um diese Tabellen zu bereinigen.

Schaut man sich den Sourcecode jedoch näher an, so entdeckt man eine Unstimmigkeit:
In den Optionen ist bei Installation folgendes bereits selektiert: „Submit data to the Computer Security Lab at Rice University for research. Tatsächlich wird erst durch das Setzen dieses Hakens eine WordPress-Tabelle geführt, wobei jeder Trackback an diese Uni übertragen wird. Da stellt sich schon mal die Frage, was die Uni mit all den Trackbacks will. Transparenz? Nein, die Uni hält es natürlich nicht für nötig, auf der Webseite darüber zu informieren. Diese MySQL-Tabelle wird dabei ausschließlich für die Uni geführt, Kommentare werden zusätzlich in der Kommentar-Tabelle abgelegt, wenn nicht freigegeben.

Steigt man tiefer ein, so sieht man, dass die Uni die PHP-Klasse Snoopy einsetzt. Diese ermöglicht es, Webseiten per PHP auszulesen, um z.B. an die URLs zu kommen. Kein Problem soweit. Allerdings setzt die Uni die Version 1.2 von Snoopy ein, nur gab es von Snoopy u.a. am 24.10.2005 ein sog. „Snoopy 1.2.1 bug fix and security release“. Das Datum von Dateien im Zip-Archiv des Plugins ist allerdings neuer, außerdem steht auf der Webseite der Uni 21 May 2006: Bugfix release: 0.7.1.

Das bedeutet: Die sog. Rice University vertreibt alten, verseuchten Code und sieht es nicht für notwendig an, bei Updates auch die mitgeführten Daten zu aktualisieren. Ich weise deshalb so drastisch darauf hin, weil doch gerade eine Uni hier eine Vorzeigerolle spielt und nicht schlampen sollte.

Der Witz steht dann auch noch hier:

We are actively developing additional heuristics to add to the plugin; if you observe TrackBack spam that makes it past this plugin, please let us know.

Fakt ist, dass die Hauptarbeit die Open-Source-Klasse Snoopy macht. Das Plugin führt lediglich einen kleinen Regex-Aufruf durch. Heuristik? Im Plugin ist jedenfalls nichts zu spüren.

Wie geht es weiter?
Ich habe aufgrund dieser Erkenntnisse beschlossen, ein eigenes Trackback-Validierungs-Plugin zu schreiben. Ist auch schon fertig und wird gerade von mir hier auf Software Guide getestet. Ich werde es in den nächsten Tagen veröffentlichen. Ich setze damit die neueste Snoopy-Version ein und es gibt eine Möglichkeit, Trackback-Spam ganz streng zu beurteilen (Permalink muss exakt übereinstimmen) oder das ganze weicher zu fahren (irgend ein Link auf Blog reicht).

Fortsetzung folgt ;-)

Das Anti-Spam-Konzept mit der Kombination aus Akismet, Math Comment Spam Protection und Trackback-Validator hat sich sehr bewährt und läuft hervorragend.

Allerdings hat sich ein Problem mit dem Trackback-Validator herausgestellt:

Bisher bin ich davon ausgegangen, dass der Trackback-Validator alle Trackbacks in der WordPress-Kommentar-Tabelle als Spam markiert, sobald kein Back-Link vorhanden ist (Feld „comment_approved“ auf „spam“ setzen). Dies ist die übliche Vorgehensweise für Anti-Spam-Plugins und wird auch von den WordPress-Entwicklern so vorgeschlagen.
Damit kann man dann z.B. mit Akismet die als Spam markierten Trackbacks bearbeiten (wiederherstellen oder löschen).

Tatsächlich verwendet das Plugin aber eine eigene MySQL-Tabelle (tb_data), in die die als Spam markierten Trackbacks gespeichert werden. Leider gibt es aber keine Möglichkeit, diese Trackbacks über das Plugin zu verwalten.

Frank Bültge bietet nun aber mit dem Trackback Validator Spam Cleaner Plugin die Möglichkeit, diese Einträge zu verwalten.

Sein Plugin ist allerdings noch eine frühe Beta-Version, aktuell habe ich gesehen, dass dort Einträge mehrfach gelistet werden (selbe ID). Aber das wird Frank sicherlich bald korrigieren.

Letztendlich finde ich es einen sehr guten Ansatz, mit einem Werkzeug zentral alle als Spam markierten Beiträge zu verwalten.

Neben den 7 Weltwundern bleibt für mich noch ein weiteres Phänomen offen: In diesem Weblog kommen seit Monaten Trackback-Spams rein, die als Internet-Adresse eine nicht existierende URL verwenden. Ein Beispiel von Tausenden:

Der Text ist dabei immer im selben Schema: wirr aneinandergereihte Buchstaben, bei denen wohl nur eine LSD-Dosis helfen würde, um daraus einen Sinn zu erkennen.
Die URLs variieren immer, im o.g. Beispiel z.B.: www.iladqkao.com. Über Google findet zu den angegebenen und nicht existierenden Domains nichts. In einem Blog hatte ich hierzu mal gelesen, dies seien Tests. Aber ich bekomme diese „Tests“ nun schon seit Monaten. Dank Spamschutz kommen diese nie durch, aber das ganze ist sehr, sehr seltsam für mich. Hat wer von Euch eine Erklärung?

Vorkommnisse

Am 22. Juni berichtete ich von vermehrtem Spamaufkommen auf Software Guide: innerhalb weniger Stunden über 500 neuer Spam-Beiträge. Am 26. Juni berichtete ich von einer Verzehnfachung, also mehrere tausend Spam-Beiträge/Tag, und mögliche Abhilfen. Am 4. Juli hatte ich daraufhin das Mathe-Antispam-Plugin veröffentlicht.

Robert Basic berichtete fast parallel ebenfalls von massiven Problemen mit Spam, bei ihm war das ganze noch einen Schritt weiter, da teilweise lange Wartezeiten auftraten aufgrund der Spamattacken, also massiv negativer Einfluss auf die Server-Performance (siehe u.a. Spam-Stats und Gegenmaßnahmen).
Denis hatte es noch härter erwischt.

Auslöser

Hauptauslöser waren massive direkte Spamattacken per Bots, diese gingen nicht über Trackback/Pingback, sondern direkt über die Kommentar-Funktion.

Das Problem ist in keinem der Fälle, dass tatsächlich Spam durchkommt, denn etweder wurde Akismet oder Spamkarma eingesetzt. Beide WordPress-Plugins haben einen unterschiedlichen Ansatz, arbeiten aber sehr zuverlässig.

Hauptprobleme

Die Hauptprobleme waren vielmehr:

• Wird ein (Spam-)Kommentar abgegeben, so erfolgen durch diese Plugins mehrere Schreib- und Lesevorgänge in der MySQL-Datenbank, was bei Attacken den Server entsprechend beansprucht und ausbremsen kann.
• Bei mehreren tausend als Spam eingestuften Kommentaren kann es vorkommen, dass dazwischen False Positive sind, also echte Kommentare, die als Spam eingestuft wurden. Diese gehen in den Massen allerdings unter und werden vom Administrator gelöscht. Aus der Tätigkeit der Moderation wird also bei mehreren tausend Spams/Tag nur ein „per Mausklick alle als Spam gekkenzeichneten Nachrichten löschen“.

Lösung

Als Lösung wurde von Software Guide daraufhin Folgendes eingesetzt:

1. Math Comment Spam Protection Plugin:
   Das Plugin habe ich vor wenigen Tagen geschrieben, es stellt beim Kommentieren simple Mathe-Aufgaben. Mehr zu dem Plugin siehe unten.
2. Trackback Validator Plugin: Markiert alle Trackbacks als Spam, welche auf dem verlinkenden Blog keinen Back-Link zur getrackbackten Seite haben.
3. Akismet: Läuft weiterhin im Hintergrund und blockt alles, was trotzdem durchkommt.

Auf Software Guide ist das Konzept bisher aufgegangen, kein einziger Kommentar kam durch, die Anzahl der als Spam markierten Kommentare ging auf < 20 Stück / Tag zurück. Robert verwendet seit 06.07. ebenso dieses Konzept, wie er unter Die sanfteste Methode gegen Werbemüll berichtet, und scheint bisher ebenso gute Erfahrungen zu machen.

Mathe-Anti-Spam

Die meisten Spams blockt von Anfang an das Math Comment Spam Protection Plugin. Diskussionen dazu siehe auch unter Dr. Web: Spamschutz mit Rechenaufgaben.
Das Plugin stellt in seiner Version 1.0 einfachste Additionsaufgaben. Selbstverständlich lässt sich das per Bot sehr einfach umgehen, indem man das HTML ausliest und die Summe entsprechend übergibt. Allerdings verwenden derzeit nur die wenigsten Blogs einen solchen Schutz, somit ist die Abdeckung für Spammer völlig uninteressant.

Weiter plane ich für die Zukunft, das Plugin entsprechend zu erweitern und auch die Ausgaben der Zahlen und Operatoren als Text anzubieten, u.v.m.

Bilder und Captchas möchte ich nicht verwenden, da diese die Zugänglichkeit weiter einschränken. Zudem sind auch Captchas meist sehr einfach durch Bots lösbar, siehe PWNtcha – captcha decoder, Using AI to beat CAPTCHA oder W3C: Inaccessibility of CAPTCHA.

Das mit den Matheaufgaben ist nur eine Maßnahme von mehreren, und ist sicherlich verbesserungswürdig. Da aber heute der allergrößte Teil aller Webseiten keinerlei solcher oder ähnlicher Maßnahmen zur Spam-Abwehr treffen, ist diese Maßnahme sehr wirkungsvoll. Einige Webmaster nutzen von noch einfachere Möglichkeiten, wie etwa eine Checkbox (Kommentar wird nur gespeichert, wenn diese gesetzt ist) oder Kommentarvorschau. Das Plugin mit den Matheaufgaben ist da einen Schritt weiter, aber sperrt keine Anwender aus (als wie es etwa bei Captchas der Fall ist), auch da die Aufgaben selbst sehr einfach gehalten sind.
Die Rechenaufgaben zu berücksichtigen ist für Spammer zum heutigen Stand völlig uninteressant, da dieses Antipspam-Verfahren nur von einer minimalen Anzahl an Webseiten genutzt wird. In ein paar Jahren mag dies anders aussehen, aber bis dahin gibt es auch eine neuere Version des Plugins :-)

Im Artikel Frühstücksfleisch wird immer aggressiver hatte ich auf das Plugin Did You Path Math? verwiesen, welches ganz einfache Rechenaufgaben stellt.

Beispiel:

Probleme mit diesem Plugin:

• Es lässt sich nur in wenige Themes sauber integrieren, und selbst da ist JavaScript notwendig zu Platzierung des Formularfeldes
• Der Besucher muss Cookies zulassen
• Gibt man einen falschen Wert ein (auch: fehlendes Pflichtfeld wie Email-Adresse), und geht nach der Fehlermeldung wieder zurück, so ist der Kommentar-Inhalt und damit u.U. viel investierte Mühe des Besuchers weg.
• Das Plugin führt unnötige Schreib- und Löschaktionen in der MySQL-Tabelle durch, wenn ein User ein falsches oder kein Ergebnis eingegeben hat; hier sollte eigentlich gar keine Schreib/Lösch-Aktion nötig sein.

Daher habe ich das Plugin Math Comment Spam Protection geschrieben.

Der Code ist komplett neu erstellt und basiert auf einem völlig anderen Konzept wie das Did You Path Math? – Plugin. Identisch ist die Idee dahinter: Der Besucher muss eine simple Rechenaufgabe lösen und gibt das Ergebnis in ein Formular ein.
Das Ergebnis wird über eine PHP-Funktion codiert und über ein verstecktes Feld übertragen. Nach dem Absenden des Formulars wird auch die Benutzereingabe mit dem selben Algorithmus encodiert und mit dem Wert des versteckten Feldes verglichen. Wenn die Werte übereinstimmen, wird der Kommentar veröffentlicht.

Ich kann nur sagen, dass es klappt ;-) Seit 2 Tagen ist das Plugin hier auf Software Guide im Testeinsatz, und statt mehreren tausend Spam-Kommentaren / Tag hatte ich jetzt keinen einzigen Spam-Kommentar mehr.

Trackbacks/Pingbacks funktionieren natürlich weiterhin, und gegen Spam-Trackbacks kann dieses Plugin nicht antreten. Daher habe ich vorhin noch das Plugin Trackback Validator installiert, welches alle Trackbacks als Spam markiert, welche auf dem verlinkenden Blog keinen Back-Link zur getrackbackten Seite haben.

Der Kommentar-Spam auf dieser Seite wird immer schlimmer. Heute kamen innerhalb weniger Stunden über 4.000 Spams rein, gestern 5.500 Spams.
Diese Angriffe kommen als normaler Kommentarspam, also nicht über Trackbacks.

Akismet hat dabei sauber alles geblockt. Trotzdem sind diese Angriffe nervig, schließlich kann unter den tausenden geblockten Kommentaren auch ein als falsch eingestufter dabei sein. Aber eine Einzelprüfung fällt bei diesen Spam-Massen aus. Zudem bedeutet dies eine massive Serverlast (der Spam selbst, dann die Arbeit durch Akismet, und dann das Anzeigen/Löschen).

Abhilfe?

Da es normaler Kommentar-Spam ist, wird dieser durch Bots durchgeführt, u.a. gibt es folgende Ansätze:

• Captcha. Also diese Bildchen, auf denen man nie erkennt, was man nun eingeben soll: „o“ oder „O“, „l“, „L“ oder „i“, etc. Nein, das möchte ich meinen Lesern nicht zumuten. Zudem ist Captcha nicht sicher, siehe z.B. captcha decoder.
• Rechenaufgaben. Es gibt das Did You Path Math?-Plugin, dieses stellt den Usern sehr einfache Rechenaufgaben, wie etwa „Was ist die Summe von 9 + 3 ?„. Problem bei diesem Plugin: Gibt man einen falschen Wert ein (auch: fehlendes Pflichtfeld wie Email-Adresse), und geht nach der Fehlermeldung wieder zurück, so ist der Kommentar-Inhalt weg.
• JavaScript-Lösung. Hashcash berechnet per JS clientseitig einen speziellen Wert, welcher zum Server zur Prüfung gesendet wird. Angeblich 100% sicher.
  Allerdings sperrt man damit Besucher ohne aktiviertem JavaScript aus (Thema ‚Barrierefreiheit‘), außerdem wurden bei mir zudem ohne aktivierten JS alle Kommentare ausgeblendet.
• Kommentar-Vorschau: Ersetzt man den „Speichern“-Button durch einen „Vorschau“-Button, welcher nach dem Anklicken erst mal eine Vorschau anzeigt, soll dies einige Bots davon abhalten, dass die Spams gepostet werden. Il Filosofo bietet mit Comments Preview ein solches Plugin an. Mir ist das allerdings noch zu unflexibel in der Einrichtung und daher nicht 100% auf meine Seite zuschneidbar. Dennoch macht das Plugin einen guten Eindruck, für den ein- oder anderen sicherlich so verwendbar.

Zumindest ein Ansatz: Modifiziertes Akismet

Rich Boakes zeigt mit seinem am 08. Juni vorgestelltem Plugin Akismet htaccess extension eine interessante Lösung:
Installation: man ersetzt die akismet.php durch Richs modifizierte Version. Danach sieht man Folgendes, wenn man die geblockten Spams im WordPress-Admin prüft:

Das ist ein Screenshot von heute mittag und zeigt Spams von gestern und heute, da ich gestern alle als Spam eingestuften Kommentare löschte. Es werden hier die 10 meisten Spammer angezeigt, wie im Screenshot ersichtlich liegen 4.801 Spam-Kommentare von wrkplace . com (Online-Poker) vor.
Das Plugin fasst die Spams zusammen, damit kann man diese auf einen Rutsch löschen. Übrig bleiben dann u.U. auch Kommentare, die fälschlicherweise als Spam eingestuft wurden.
Zudem bietet das Plugin das Bannen von IPs (siehe „Ban the listed IP addresses“). Hierdurch erfolgt ein „Deny from…“-Eintrag in der .htaccess, allerdings eben nur IP-basierend, z.B. wrkplace . com spammt mich weiterhin.

Für weitere Tipps und Hinweise bin ich dankbar.
Jetzt packe ich mal mein Gepäck, denn morgen früh geht es erstmal für 2 Tage nach Frankreich. Ich hoffe, dass es sich der Spam nicht nochmal verzehnfacht, denn vor 4 Tagen hatte ich schon mal über massiv angestiegenen Spam berichtet, „damals“ waren es nur gute 500 Spams.

• Nachtrag (Di 27.06., 21:30):
  Siehe hierzu auch einenn interessanten Artikel von Robert, dessen Server die Spam-Attacken nicht mehr mitmachte:
  Spam-Stats und Gegenmaßnahmen.
  Bei mir war es die letzten 2 Tage etwas ruhiger, „nur“ 1000 Spams, und z.B. innerhalb der letzten 30 Minuten 185 neue Spams.
• Nachtrag (Di 04.07., 00:10):
  Mit Einsatz vom mittlerweile selbstgeschriebenen Plugin Math Comment Spam Protection hat sich das Spam-Aufkommen wieder gelegt, siehe Artikel Kommentar-Spam-Plugin für WordPress geschrieben

Auf diesem Blog habe ich gerade massive Spam-Attacken festgestellt, innerhalb weniger Stunden sind 556 (!) neue Spam-Beiträge eingegangen:

Das verwendete Anti-Spam-Plugin (Akismet) hat alles zuverlässig geblockt. Normalerweise überfliege ich diese geblockten Spams immer kurz bevor ich sie lösche, denn ganz selten wird ein echter Beitrag als Spam erkannt.
Dies kann ich bei diesem Aufkommen nun leider nicht mehr machen, sondern lösche diese.
Ist auch noch nie so extrem gewesen, so 20-30 Spams waren die Regel / Tag.

Bitte um Verständnis, falls ich dadurch einen fälschlicherweise als Spam eingestuften Kommentar lösche.

Wahnsinn, während ich die letzten 2 Minuten diese Zeilen schrieb, sind aus 556 schon 574 neue Spams geworden.

Robert berichtet auch von Spam-Massen („…in nicht einmal 5 Minuten 300 Spameinträge…“).

Ich werde ein paar Maßnahmen ergreifen, ich denke an:

• Umstieg von reinem Akismet auf Spamkarma mit Akismet-Plugin
• Auto moderate comments Plugin einsetzen
• Bei den Kommentaren nur einen „Vorschau“-Button anbieten, erst danach kann gespeichert werden. Soll angeblich viele Bots verwirren.

Peter Forret berichtet, wie er einem österreichischen Spammer auf die Spur gekommen ist. Auslöser war Akismet-Spam, wo erstaunlich viele .be-Domainnamen auffielen (dies hatte ich letztens auch sehr vermehrt festgestellt).

Kann man in Österreich eigentlich auch so leicht Leute abmahnen wie in Deutschland? Wenn ja, dann könnte hier gerne mal jemand aktiv werden ;-)

(via ProBlogger)