PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Postfix/Spamasassin: Filtern anhand von Whois-Daten (z.B. Whoisguard -> Spam)



mwyraz
17.01.2013, 09:23
Hallo zusammen,

ich sortiere regelmäßig den manuellen Spamordner durch und schaue, wie ich unsere Filter verbessern kann. Bei der Abfrage der Sender-Domains kommt es häufig vor, dass diese nicht gefälscht sind, sondern "nur" durch Whoisguard "geschützt" sind.
Daher würde ich gern eine Policy auf unserem Mailserver einrichten, dass Mails, deren Sender-Domain durch Whoisguard geschützt ist, abgelehnt werden. Keine Ahnung, ob Whoisguard auch seriöses Geschäft macht aber ich muss ja keine Mails von Domains annehmen, die die Identität der Eigentümer verschleiern.
Daher meine Frage: wie könnte man einen solchen Filter technisch umsetzen? Oder hat jemand vielleicht schon so einen Filter?

Vielen Dank,
Michael.

Solli
17.01.2013, 09:43
Prinzipiell möglilch wär's schon: Es gibt command line tools für die Whois-Abfrage. Der Filter könnte also in Echtzeit eine Abfrage durchführen, das Resultat nach bestimmten Begriffen (wie "whoisguard") durchsuchen und bei einem Treffer die Mail als Spam betrachten. Wie man das jetzt im Detail in Spamassassin o.ä. einbaut weiß ich nicht, aber so schwer kann das nicht sein.

Allerdings frage ich mich ob's das bringt. Wie viel Spam erwischt man dadurch tatsächlich? Vor allem, wie viel Spam erwischt man dadurch, den man nicht anderweitig hätte rausfiltern können? Und wie viele false positives bekommt man mit so einem Filter?

hoppala
17.01.2013, 10:15
Ich habe so was in der Richtung vor Jahren mal gemacht, wobei ich die URLs im Text analysiert habe. Sender-Domains waren nach meiner Erfahrung selten für die Erkennung zu gebrauchen (hängt vielleicht auch damit zusammen, dass die entsprechenden Spams schon gar nicht an der IP-basierten Blocklist vorbeikommen).
Die maschinelle Abfrage von Whois-Daten ist allerdings bei den meisten (allen?) Whois-Services unerwünscht. Anders als DNS ist Whois nicht für diese Art von Zugriff gemacht. Und offenbar sind die "verschleiernden" Registrare zu eng mit einflussreichen Providern verbandelt, so dass Services, die Whois-Daten in DNS verpackt anbieten wollen, keinen Fuß auf die Erde bekommen.
Der Fisch stinkt vom Kopf her.

hoppala

Mittwoch
17.01.2013, 11:20
Die maschinelle Abfrage von Whois-Daten ist allerdings bei den meisten (allen?) Whois-Services unerwünscht. Anders als DNS ist Whois nicht für diese Art von Zugriff gemacht.
Wie bitte? Ich frage die Whois-Daten regelmäßig "maschinell" ab, mit Hilfe des Linux-(UNIX?-)Pakets whois. Dort kann ich sogar verschiedene Dienste angeben, die abgefragt werden sollen. Das Ergebnis könnte ich dann z.B. im Rahmen eines Shell-Scripts in der von mwyraz beabsichtigten Weise auswerten, denn die Abfrage wird auf die Standardausgabe ausgegeben und kann somit z.B. mit grep weiter untersucht werden. Eine grobe Idee für so ein Skript habe ich, aber da ich keinen Mailserver betreibe, habe ich nichts in der Richtung versucht. Man jagt die Domain durch das Skript, und bei ordnungsgemäßer Beendigung (=Domain ist Whois-Protected) wird die Mail geschreddert.

Letztendlich läuft im Hintergrund der großen Whois-Internetseiten nichts anderes, nur dass die Ausgabe eben auf der Webseite angezeigt wird.

Zu der Frage der möglichen Fehlerquote: Whois-Protection hat in einigen Ländern wie z.B. der USA durchaus Sinn. Wenn man für ein politisches Blog Restriktionen befürchten muss oder wenn die Registrierungsdaten von der Wirtschaft als Freiwild betrachtet werden dürfen, kann ich die Inanspruchnahme solcher Dienste durchaus nachvollziehen. Und ich will nicht ausschließen, dass ich zum Beispiel von einem amerikanischen Freund mal eine Mail bekomme, in der eine Domain verlinkt wird, die aus seriösen Motiven heraus Whois-Protected ist. Diese würde dann natürlich auch geschreddert. Ich würde demnach eine solche Filterregel immer mit einem vorgeschalteten Positiv-Abgleich einer Whitelist kombinieren.

Schönen Gruß
Mittwoch

homer
17.01.2013, 11:27
Ich würde noch etwas weiter gehen und einen Cache für die Abfrage-Ergebnisse mitschreiben. Die "sauberen" Domains sind dann als Dauereinträge drin und der Rest verfällt nach einer gewissen Zeit, um die Tabelle nicht zuzumüllen.

Einige WHOIS-Betreiber (u.a. auch die DENIC, IIRC) lassen nur eine gewisse Anzahl von Abfragen/Zeitraum zu. Das muss auch berücksichtigt werden.

kjz1
17.01.2013, 21:05
Mal grundsätzlich gefragt: reicht ein Abgleich mit URIBL und SURBL nicht aus? Spammer-Domains werden dort doch relativ schnell gelistet.

hoppala
17.01.2013, 22:35
Je nachdem - mit der Whois-Abfrage kann man Domains, die bei den "üblichen Verdächtigen" registriert wurden, schon beim allerersten Spam-Mail erkennen, das hat schon was.

hoppala

GoodReputation
18.01.2013, 19:58
Du kannst die SpamAssassin Regeln jederzeit durch eigene zusätzliche erweitern. Erstaunliche gute Treffer bringen dabei Regeln welche abfragen ob eine Domain über einen Anon Whois Registrar registriert sind und ob eine Domain neu registriert wurde. Manche Spammer scheinen es kaum abwarten zu können und spammen unter ihrem neu registrierten Domainnamen sofort los. Werden beide Checks kombiniert hat man fast immer richtige Treffer. Für so etwas braucht man sich keine Scripte schreiben, das kann man einfach per normaler SA-Regeln machen.

http://anonwhois.org/usage.html

http://anonwhois.org/99_anonwhois.cf (muss aber leicht angepasst werden)

homer
18.01.2013, 22:09
http://anonwhois.org/usage.html
Wie aktuell ist dieser Service? Die letzten "News" sind aus dem Dezember 2009 und auch sonst ist 2011 die "aktuellste" Datumsangabe.
Die Domain firmendb.net aus dem aktuellen Spamrun unseres allseits beliebten Global Contact Spammers ist auch nicht gelistet, ebenso auf der verlinkten http://spameatingmonkey.com/.

Grundsätzlich haben alle diese Listen einen Nachteil: Sie laufen dem Spammer hinterher. Z.B. der Global Contact-Heiner verbrennt pro Spamrun (pro Woche) mindestens zwei Domains. Bei http://uribl.com/ war firmendb.net innerhalb kurzer Zeit (IIRC unter 1 Stunde) gelistet, aber die ersten Mails kommen trotzdem durch.

Gerade in Verbindung mit den "Day Old Bread"-Regeln, die der SpamAssassin eh schon hat ist anonwhois.org aus meiner Sicht nicht zu gebrauchen.

GoodReputation
18.01.2013, 23:19
Die Daten sind m.E. aktuell. Dass manche Sachen wie das Beispiel keinen Treffer bringen - nun gut, das hast Du bei anderen auch. Gerade habe ich eine Spam-Mail bekommen, das sieht bei mir dann so aus:



Return-Path: <katina [at] totem-mould.com>
...
X-Spam-Report: =xxxx
* 0.3 DNS_FROM_IN_ANONWHOIS RBL: Sender verschleierter Whois
* 0.0 ANONWHOIS_18 Verschleierter Whois by WhoisGuard
* [URIs: totem-mould.com]


Dieser Service ist durchaus einsetzbar. Allerdings soll auch nicht verschwiegen werden dass diese Abfragen in den Default-Settings des SpamAssasin nicht enthalten sind, da es prinzipielle Meinungsunterschiede über die Sinnhaftigkeit des Scorings von anonymisierten whois Einträgen gibt.

Die FRESH-x aus der anderen Datenbank benutzt wohl die gleichen Datensätze. Bei neuen Spamruns werden die meistens gemachted. Wie genau die ihre Datenbank aktuell halten weiss ich natürlich nicht.

mwyraz
01.03.2013, 09:29
http://anonwhois.org/99_anonwhois.cf (muss aber leicht angepasst werden)

Was bedeutet in dem Fall "muss aber leicht angepasst werden" ? Bezieht sich das auf die Score? Diese wäre dann sicherlich in local.cf anzupassen, oder?

GoodReputation
01.03.2013, 10:13
Was bedeutet in dem Fall "muss aber leicht angepasst werden" ? Bezieht sich das auf die Score?

Die Scores in dem Beispiel stehen alle auf 0. Damit einzig zum debuggen zu gebrauchen.

Generell musst Du aber für Dich entscheiden welche Strategie beim scoren Du willst. Insgesamt sind die Default Settings im SpamAssassin durchdacht und bewährt - und als Anfänger sollte man dort nicht leichtfertig Änderungen vornehmen. Bei uns haben wir eine Reihe zusätzlicher Tests eingebaut (auch diesen) - dafür dann allerdings die Scores einiger Tests ein wenig nach unten gesetzt so dass sich das in der Summe ausgleicht. Wenn man eigene lokale Tests einbaut ist immer Finetuning angesagt.