Domainverschleiß-Spam

[kjz1]

Um eine schnelle und effiziente Zusammenarbeit der Antspamlösung mit einem gut bedienbaren Emailreader (Thunderbird) zu ermöglichen, scheint ein Plugin mit einer verteilten Antispamdatenbank der richtige Weg zu sein.

Noch einmal mein Hinweis: so etwas gibt es schon. Nennt sich Spamcop und arbeitet mit Ironport zusammen. Durch Spamcop wird der Spam von tausenden Nutzern 'angeliefert'. Diese Spam-Mengen werden dann entsprechend statistisch erfasst und Ironport 'bastelt' dann daraus Filterkriterien, die andere Nutzer des Dienstes wiederum vor weitrem Spam schützen.

Auch in Deutschland gibt es so etwas. Nennt sich expurgate/eleven.

Und als Opensource: nennt sich Razor.

[Link nur für registrierte Mitglieder sichtbar. ]

Vipul's Razor is a distributed, collaborative, spam detection and filtering network. Through user contribution, Razor establishes a distributed and constantly updating catalogue of spam in propagation that is consulted by email clients to filter out known spam. Detection is done with statistical and randomized signatures that efficiently spot mutating spam content. User input is validated through reputation assignments based on consensus on report and revoke assertions which in turn is used for computing confidence values associated with individual signatures.

Also ein bereits seit einigen Jahren betriebenes Projekt, was so ziemlich genau das verwirklicht, was Du anscheinend erst noch programmieren möchtest.

Nichts für ungut, aber was ich nicht verstehe: warum muss man das Rad zum dreihundertzwölfzigsten mal neu erfinden?

- kjz

[pidhunter]

Es ist mir auch klar, dass viele Antispamlösungen so oder so ähnlich vorgehen, ABER mit individualisiertem Spam überhaupt nicht klarkommen, ergo ist es nicht das Neuerfinden des Rades, sondern eher eine Verbesserung das Rades etwa der Unterschied von Rädern mit Holz- oder Metallfelgen oder mit Diagonal- und Radialreifen.

Ich habe für mich angefangen erstmal einen einfachen Scanner mit Flex aufzubauen und auszutesten ob der die Token richtig zuordnet und den Spam sortenrein extrahiert. Ich will mich schrittweise vortasten. Inzwischen ist auch ein integrierter IRC Kanal für den schnellen Support mit auf der Wishlist. Klar macht das auch Arbeit, aber ich weiss dann, dass ich dieser Lösung mehr vertrauen kann, als den Lösungen anderer, deren Quelltext nicht verfügbar ist. Aka einige kostenlose Firewalls, die in dringenden Verdacht stehen, wegen vormaligen geschäftlichen Kontakten zu Firmen, die Spybots programmieren ebenfalls kostenlos Daten auszuspähen.

Ich erwarte auch nicht, dass diese Lösung in wenigen Tagen und Wochen bereits schon das kann, was andere Lösungen bereits bieten, aber ich sehe den Vorteil darin, dass es schrittweise besser wird und skinbar ist und dass es auf meine Bedürfnisse jederzeit angepasst werden kann.

Ich erwarte weiter, dass es ein "Dreikäsehoch" das auch bedienen und eigene Skins dafür schreiben kann, also ein möglichst einfaches Interface bietet, welches sich jeder Interessierte ebenfalls an seine Bedürfnisse anpassen kann und zwar ohne bei Dritten Seiteneffekte auszulösen.

Ergo ist das Problem "sieht nur aus wie ... oder ist ein abbonierter Newsletter" damit klar entscheidbar. Es folgt damit dem Ansatz das selbst weniger intelligente User immer noch intelligenter sind als intelligente Programme, sonst würde nicht so viel individueller Spam durchrutschen. (darauf basiert captcha)

Ähnliches Beispiel ist der Pearl-Newsletter - man muss ihn abonieren, um Zugriff auf das Online-Bestellkonto zu haben. Klar kann man sich beschweren und bekommt sicherlich auch Recht, aber dann keinen Zugriff mehr, ergo wird die Toolbar darauf angesetzt, die das Dingens sofort nach eintreffen still, leise und fachgerecht entsorgt oder verschiebt.

Mit der schrittweisen Verbesserung der Algorithmen wird auch die automatisierte Lösung immer besser, aber die Entscheidungen, die der User trifft sind derzeit immer noch besser als eine noch so gute und damit teure Serverlösungen. Ich selbst kriege trotz Spammfilter immer noch bis zu 20 Spam am Tag und das nervt mich und so lange das so bleibt wird an der Antispamlösung gearbeitet, möglicherweise in zwei Ausführungen, serverseitig und clientseitig.

[pidhunter]

Und als Opensource: nennt sich Razor.

[Link nur für registrierte Mitglieder sichtbar. ]

Also ein bereits seit einigen Jahren betriebenes Projekt, was so ziemlich genau das verwirklicht, was Du anscheinend erst noch programmieren möchtest.

Nichts für ungut, aber was ich nicht verstehe: warum muss man das Rad zum dreihundertzwölfzigsten mal neu erfinden?

- kjz

1. Wenn ich es mir zuschneiden will, dann werde ich fast soviel Aufwand haben alles durchzusehen und dann immer bei der neuen Release meine Änderungen umpatchen müssen. Ergo NÖ, das will ich mir nicht antun.

2. Ich habe eine Sourceforge-Allergie, weil die die Developer-UI Jahr für Jahr immer unbenutzbarer gemacht haben und denen eine Beschränkung nach der anderen einfällt. NÖ, Sourceforge ist mir inzwischen zu beschränkt. SF ist öde und zu overdressed für den Zweck. Ich kauf mir doch keine Kuh, wenn ich nur ab und zu Milch trinke. SVN und eine Mailingliste und gut ist.

3. Das einzige was mich bisher noch vom Quasi-Alleingang abhielt war die Geschichte von Sigi Kluger (RIP). Das kann einem passieren, wenn man in vielen Stunden Freizeit eine genial einfache und doch leistungsfähige Software baut und die an jeden undankbaren Deppen weitergibt. Ehrlich gesagt graut es mir davor, das ist aber wirklich das einzige was mich noch davon abhält.

[pidhunter]

Noch einmal mein Hinweis: so etwas gibt es schon. Nennt sich Spamcop und arbeitet mit Ironport zusammen. Durch Spamcop wird der Spam von tausenden Nutzern 'angeliefert'. Diese Spam-Mengen werden dann entsprechend statistisch erfasst und Ironport 'bastelt' dann daraus Filterkriterien, die andere Nutzer des Dienstes wiederum vor weitrem Spam schützen.

- kjz

Erfahrungsbericht mit dem HabuL-Plugin.

Ich habe mich mal mit Spamcop näher befasst.

Damit die Bedienung nicht in zusätzliche Tätigkeiten ausartet, die genauso nervig sind wie die simple Löschung der Spam-Email, habe ich nach einem einfachen Tool gesucht welches mit Spamcop, Thunderbird, IMAP und POP optimal zusammenarbeitet.

Es bleiben bei dieser Vorgabe zwei Plugins für Thunderbird übrig und zwar Habu und HabuL, wobei nur HabuL wirklich mit der aktuellen Version von Thunderbird und IMAP zufriedenstellend zusammenarbeitet.

Die Installation und Bedienung ist simpel. Nach der Erstellung eines Spamcop-Accounts empfiehlt sich aus meiner Sicht auch die Aktivierung des Quick-Accounts damit die Spamreports gleich als kompaktes Spamreportpaket ausgeliefert und auch am Stück ausgewertet werden können. Die Spamreports sollen ja auch kompakt und tendenziell selten sein, sonst nerven sie genauso wie der Spam.

Die Toolleiste vom Tunderbird wird nun um den grünen Report-Button erweitert und die Spamcop-ID im Habul bei Extras/Addons/Einstellungen eingetragen. Man braucht dann nur den Quick-Spamcop-Checkbutton aktivieren. Nach der Registrierung der Mailhosts und Freischaltung per Email (seihe Spamcop Admin-Report) wird die Email vom zwischenzeitlichen Greylisting ausgenommen.

Dazu muss man alle Mailhosts registrieren (zweiter Button von links im Spamcop-Account und die entsprechenen Angaben samt Testmail übergeben und sich dann für Quick per Email freischalten lassen.

Dann braucht man für eindeutigen Spam nur die "gelbe Spam-Flamme" aktivieren und auf den grünen Report-Button clicken. Dann wird das Spamreportpaket im Attach einer vorbereiteten Email erstellt und zu automatischen Analyse eingeschickt.

Das Plugin verschiebt anschließend den gesendeten Spam in den Papierkorb. Von Zeit zu Zeit leert man den Papierborb und komprimiert den Posteingang. Das war's schon.

Vorteile:
- geht sehr schnell
- räumt gründlich auf
- einfach zu bedienen
- gut für den Einsteiger

Nachteile:

- GUI ist nicht multilingual

- Thunderbird markiert ohne eigenens Zutun und auch ohne Habul paar Nichtspams als Spam und wenn man nicht aufpasst wird der falsche Absender mit Spamreports beglückt - das wäre nicht so gut.

- der Spamreport wird leider auch dem Spammerfreund (Spamhoster) zugestellt und das ist gleichbedeutend mit einer Eingangsbestätigung für den Spammer

- die Spamerkennungsmuster werden auch nicht zwecks Optimierung im Plugin wirksam

- die Spamerkennungsmuster werden nicht lange genug archiviert

Fazit:

Um auch Erkennungsmuster des Spamgenerators zu machen und wirken lassen zu können fehlen einfach die bewerteten Eingriffsmöglichkeiten zu einem Markierungsplugin.

Es ist deshalb kaum davon auszugehen, dass der Algorithmus irgendwann mal "greedy" wird.

Da bräuchte man die Anreicherung der Datenbasis, die automatische Erkennung des Spamgenerators und seiner händischen Variationsmöglichkeiten und auch die automatisch bewertete Markierung des Posteingangs.

Nur wenn der Algorithmus die Eigenschaft "greedy" wirklich irgendwann erreicht (kritische Masse), dann erst kann man den Spammer und auch den Spamhoster mit häufigen Umkonfigurationsspielchen und Abmahnemails hinreichend intensiv genug nerven.

Dies hatte auch Blue-Systems erkannt. Nur dann wenn dadurch dem Spammer ganz erheblich Mehrarbeit entsteht, kann man die Spammer dazu zwingen von sich aus eine Blacklist zu führen. Erst dann hat man wirklich etwas erreicht. Computer nerven Computer und auch Computerbediener immer noch am besten.

Da wie beschrieben, wegen fehlender Archivierung und Rückmeldung zwecks Optimierung ins Markierungsplugin keine nachhaltigen Methoden zum Einsatz kommen können, stehen auch die Chance für "greedy" leider schlecht.

Das heisst konkret, dass das Aufwand/Nutzen-Verhältnis nicht mit der Dauer der Nutzung progressiv verbessert wird und maximal proportional bleibt. Damit haben wir aber ein dauerhaftes Hase-Igel-Problem.

[pidhunter]

Was jetzt zu tun wäre ist einen "familären" SVN-Hoster zu finden, der nicht zu groß und nicht zu überreguliert ist und wo man stressfrei die ersten Codeschnipsel hosten kann, aber nicht Sourceforge ähnliche mit ihren sinnlosen, seitenlangen devel-Regeln und überquellenden und nervigen Devel-GUI.

SVN wäre auch wichtig, der Rest sollte möglichst remote und einfach gehen. Muss ich mal auf die Pirsch gehen.

Das configure-Script ist bereits in Arbeit. Als devel-Plattform würde ich wieder Cygwin32 und wer will Linux vorschlagen. Wenn man Scintilla als Editor im Windows laufen lässt und sich ein komplettes Cygwin nur zum durchkompilieren und testen installiert, geht Windows und die komfortable Entwicklung mit einen unix-likem Environment eigentlich ganz prima und das spart Strom, da die Windowskiste eh laufen muss.

Ein devel-Typ von Sidux hatte mir versprochen (seit über einem Jahr überfällig !! ) zu erklären wie ich ein deb-universe-Paket baue und hochlade, da ich bisher nur tarballs nutze, die mit einen "./configure.sh" und einem "make install" alles installieren und mit "make uninstall" deinstallieren und mehr tut nicht not. Aus den immer gleichen make targets und den tarball sind leicht auch rpm's zu packen, die für SuSE & Co passen.

Na da gibst eben dann nichts für deb-kompatible - mir doch egal - hat vielleicht was gutes, denn sonst nerven die mich die debian-nerds wieder mit endlosen threads wie gut emacs und autoconf sind - or neeee.

[pidhunter]

Hat sich erledigt - einen solchen Hoster gefunden :-)