PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Wie muss die main.cf von Postfix aussehen um Spam zu verringern?



MarcoZink
07.08.2009, 15:06
Hallo,

ich habe nun eine ganze Latte an Themen durch die irgendwie mit Postfix in Verbindung stehen und wo stellenweise auch tatsächlich steht was man in die main.cf einfügen soll. Allerdings bin ich nicht sicher ob ich das einfach so unten anhängen kann oder wie das genau läuft. Mein Server ist momentan mit über 40 Domains bestückt und dabei sind mindestens 5 bei denen nichts schief gehen darf. Das heißt ich kann nicht einfach mal eben versuchen irgendwas an Postfix zu machen wenn vorher nicht sicher ist ob danach plötzlich 500 Mails im Müll landen die wichtig waren. Klar das sowas immer mal passieren kann wenn wodurch auch immer ein Absender auf einer Blacklist gelandet ist. Aber mir gehts darum den Container der momentan auf dem Server befindlichen Mails nicht leer zu machen aus versehen oder so.

Also lange Rede kurzer Sinn. Meine main.cf unter /etc/postfix/main.cf sieht momentan so aus und ich habe Spamassassin im Einsatz. Wie ist diese zu ändern um noch effektiver Spam zu verhindern?


# See /usr/share/postfix/main.cf.dist for a commented, more complete version


# Debian specific: Specifying a file name will cause the first
# line of that file to be used as the name. The Debian default
# is /etc/mailname.
#myorigin = /etc/mailname

smtpd_banner = $myhostname ESMTP $mail_name (Debian/GNU)
biff = no

# appending .domain is the MUA's job.
append_dot_mydomain = no

# Uncomment the next line to generate "delayed mail" warnings
#delay_warning_time = 4h

# TLS parameters
smtpd_tls_cert_file = /etc/postfix/ssl/smtpd.crt
smtpd_tls_key_file = /etc/postfix/ssl/smtpd.key
smtpd_use_tls = yes
smtpd_tls_session_cache_database = btree:${queue_directory}/smtpd_scache
smtp_tls_session_cache_database = btree:${queue_directory}/smtp_scache

# See /usr/share/doc/postfix/TLS_README.gz in the postfix-doc package for
# information on enabling SSL in the smtp client.

myhostname = server1.MEINEDOMAIN.de
alias_maps = hash:/etc/aliases
alias_database = hash:/etc/aliases
myorigin = /etc/mailname
#mydestination = server1.MEINEDOMAIN.de, localhost.MEINEDOMAIN.de, , localhost
relayhost =
mynetworks = 127.0.0.0/8
mailbox_command = procmail -a "$EXTENSION"
mailbox_size_limit = 0
recipient_delimiter = +
inet_interfaces = all
inet_protocols = all
smtpd_sasl_local_domain =
smtpd_sasl_auth_enable = yes
smtpd_sasl_security_options = noanonymous
broken_sasl_auth_clients = yes
smtpd_recipient_restrictions = permit_sasl_authenticated,permit_mynetworks,reject_unauth_destination
smtpd_tls_auth_only = no
smtp_use_tls = yes
smtp_tls_note_starttls_offer = yes
smtpd_tls_CAfile = /etc/postfix/ssl/cacert.pem
smtpd_tls_loglevel = 1
smtpd_tls_received_header = yes
smtpd_tls_session_cache_timeout = 3600s
tls_random_source = dev:/dev/urandom

virtual_maps = hash:/etc/postfix/virtusertable

mydestination = /etc/postfix/local-host-names

alariel
07.08.2009, 15:31
Ich betreibe zwar einen Exim und kann (bzw. will) daher keine direkten Ratschläge zu Postfix erteilen, aber ich sehe grad' keine Blacklists...? Sofern die beim Postfix nicht woanders definiert werden, würde dringend dazu raten. Ich selbst habe im Einsatz:

zen.spamhaus.org
ix.dnsbl.manitu.net
bl.spamcop.net
dnsbl.sorbs.net

Von der ZEN muss ich die IP-Adressbereiche ausnehmen, von denen ich Online gehe - sonst könnte ich ja selbst nicht mehr senden. Analog würde dies natürlich für Eure Kunden gelten; kommen hier mehr als ein Provider in Frage, dann würde ich aus Gründen der Wartbarkeit auf die PBL ganz verzichten und nur die SBL/XBL nutzen.
Da diese (z.B. gestern)
Rejected by ZEN : 3172,
Rejected by NiX : 69,
Rejected by SpamCop: 1,
Rejected by SORBS : 59.
, also insgesamt 3301 Mails bereits beim Connect abgewiesen werden spart das schon eine ganze Menge an Arbeit für den Spamassassin. Führt natürlich auch dazu, dass man wenig Mails zum Trainieren hat ;)
Man sollte nur schauen, dass der Mailtraffic nicht zu hoch ist; ich glaube z.B. bei Spamhaus liegt die Grenze derzeit bei 100.000 Checks/Tag, sonst kostet das was.

Eventuell lohnt ein Blick auf folgendes:

smtpd_helo_restrictions = permit_mynetworks,
reject_non_fqdn_hostname,
reject_invalid_hostname,
permit

smtpd_recipient_restrictions =
permit_sasl_authenticated,
reject_invalid_hostname,
reject_non_fqdn_hostname,
reject_non_fqdn_sender,
reject_non_fqdn_recipient,
reject_unknown_sender_domain,
reject_unknown_recipient_domain,
permit_mynetworks,
reject_rbl_client list.dsbl.org,
reject_rbl_client sbl.spamhaus.org,
reject_rbl_client cbl.abuseat.org,
reject_rbl_client dul.dnsbl.sorbs.net,
permit
(gefunden hier (http://www.cyberciti.biz/tips/postfix-spam-filtering-with-blacklists-howto.html).)
Natürlich nur, wenn das jeweils passt. Ich würde dafür ja ein Testnetzwerk aufsetzen... Wenn Ihr die Möglichkeit habt, sicher eine Überlegung wert. 2-3 Rechner, am Besten noch Virtualbox drauf, da lassen sich schon ganze Netzwerke simulieren.

MarcoZink
08.08.2009, 09:54
Danke für die Hilfe. Ich habe anhand des Seite hinter dem Link mal meine mail.cf angepasst und die Änderungen übernommen. So ganz sicher ob nun alles schön ist bin ich mir aber nicht.

Folgendes ist mir beim ersten Abrufen von Emails nach der Änderung aufgefallen.


Aug 8 xx:xx:xx server1 postfix/smtpd[14752]: fatal: parameter "smtpd_recipient_restrictions": specify at least one working instance of: check_relay_domains, reject_unauth_destination, reject, defer or defer_if_permit
Aug 8 xx:xx:xx server1 postfix/master[14714]: warning: process /usr/lib/postfix/smtpd pID: [ID filtered]
Aug 8 xx:xx:xx server1 postfix/master[14714]: warning: /usr/lib/postfix/smtpd: bad command startup -- throttling
Das sieht mir so aus, als wenn eine Angabe in der main.cf nicht so ist wie sie soll oder mein Postfix die nicht versteht oder sowas. Und dieser Fehler kommt wie es aussieht etwa ein mal pro Minute jetzt. Und wie es aussieht kann ich jetzt auch plötzlich keine Emails mehr versenden. Mein Outlook meldet einen Timeout beim Verbinden mit dem Postausgang. Scheinbar passt da also was nicht so wirklich.

alariel
08.08.2009, 11:41
In dem Falle würde ich nach und nach vorgehen, und zunächst mal nur die Blacklists - per reject_rbl_client - mit in die Ursprungsversion einbauen. Nimmst Du Spamhaus ZEN, sollten Deine Kunden aber keine Einwahlzugänge haben - da würde ich dann SBL-XBL nehmen ;)


smtpd_recipient_restrictions = permit_sasl_authenticated,permit_mynetworks,reject_unauth_destination,reject_rbl _client zen.spamhaus.org,reject_rbl_client ix.dnsbl.manitu.net,reject_rbl_client bl.spamcop.net,reject_rbl_client dnsbl.sorbs.net
Klappt das dann, würde ich schauen, ob die HELO-Restrictions funktionieren.
Wie gesagt - mit Postfix hab' ich kaum Berührungspunkte. Darum muss ich ja, von generischen Dingen abgesehen, auch auf externe Seiten verweisen :rolleyes:

MarcoZink
08.08.2009, 17:29
Der Tip mit dem nach und nach ist eigentlich nicht schlecht. Da ich aber nicht so wirklich durchblicke welche Teile da nun wirklich zusammen hängen weiß ich auch nicht was ich zusammenhängend einbauen muss das es überhaupt klappen könnte. Ich versuch einfach mal ein paar Dinge und schau mal was passiert. Falls noch wer die zündende Idee hat immer her damit ;)

actro
08.08.2009, 18:04
Du hast eine PN..

MarcoZink
08.08.2009, 18:17
Jep ist angekommen. Antworten geht nur nicht.
Werd das ganze mal testen. Hier gibts übrigens noch ne ganze Latte an Blacklists und weiß der Geier.
http://spamlinks.net/filter-dnsbl-lists.htm

MarcoZink
09.08.2009, 08:54
So es scheint jetzt alles zu funktionieren. Wie kann ich denn nun sehen wie viel geblockt wurde und welche Absender z.B. geblockt wurden oder so? Gibts einen Befehl der mir das Log schön filtert damit ich genau diese Informationen erhalte?

Wie kann ich denn noch bestimmte Mailadressen oder Domains auf eine eigene Whitelist setzen damit die nie geblockt werden?

actro
09.08.2009, 09:04
Du kannst whitelists (http://www.howtoforge.com/how-to-whitelist-hosts-ip-addresses-in-postfix) anlegen und includen.

Um die Effektivität zu checken, empfehle ich Dir, logcheck (http://logcheck.org/) und pflogsumm (http://postfix.state-of-mind.de/patrick.koetter/pflogsumm/) zu installieren..

alariel
09.08.2009, 09:28
Exim legt extra ein Rejectlog an (neben dem logging im Mainlog). Das lasse ich einfach per Cronjob 1x/Tag auswerten und mir die Daten zuschicken (vor dem Logrotate). Simples grep -c... ;)
Ich denke, sowas sollte analog auch bei Dir möglich sein. Aber actro wird da mehr wissen als ich ;)

MarcoZink
09.08.2009, 10:09
Dieses pflogsumm scheint mir genau das richtige. Ich hab noch nicht raus gefunden wie ich das Modul date::calc dafür installiere aber ist ja auch egal man kann die Benutzung davon ja im Perlskript weg lassen. Trotzdem bin ich nicht sicher wie man das ganze jetzt anwendet. Ich kann zwar z.B. mit pflogsumm.pl /var/log/mail.log > auswertung.txt mal schnell eine Auswertung in eine Textdatei packen aber das ist ja so nicht Sinn der Sache. Ich müsste also quasie am besten das ganze so einrichten, dass ein mal am Tag (z.B. um 1 Uhr in der Nacht) die auswertung für den Tag davor erzeugt wird (0 Uhr bis 0 Uhr) und diese Auswertung dann entweder per Mail an mich geschickt wird oder aber z.B. irgendwie umformatiert und mit Passwort per htaccess geschützt übers Web erreichbar. Dann aber so, dass alle Logs erhalten bleiben. Kann man ja ein einfaches PHP Skript bauen was z.B. den Ordner für 2009 durchsucht und dann alle dort enthaltenen Logs auflistet. Da bau ich mir dann schon was ich muss nur erreichen das per Cronjob um 1 Uhr das Skript eine Auswertungsdatei erzeugt bei der das aktuelle Jahr mit als Ordner verwendet wird (z.B. /var/www/webX/web/auswertung/2009/august_08.txt) und ich bau mir dann ein PHP Skript was wieder diese Textdateien etwas aufbereitet im Web anzeigbar macht. Wie muss der Cronjobeintrag aussehen damit genau das passiert und eben auch genau für diesen einen Tag? Und wie installiere ich das fehlende Perlmodul damit das Skript ohne die Einschränkung läuft?

actro
09.08.2009, 10:48
Ich will jetzt nicht überheblich klingen, aber..

Du betreibst einen Server, da solltest Du Grundlagenwissen in Linux haben. Das schließt Perl,Python, Cron und Shell mit ein.
Natürlich können wir Dir die Konfiguration bis ins letzte Detail vorkauen, das geht aber weit am Ziel vorbei.
Jeder Betreiber eines Servers steht in der Verantwortung, daß die Kiste rund läuft und nicht austickt..
Und jeder Betreiber wird eines Tages an den Punkt kommen, wo das nicht mehr so ist, weil irgendetwas amok läuft oder die Kiste geknackt wurde.

Wir tun Dir keinen Gefallen damit, alles vorzukauen und Du tust Dir keinen Gefallen damit, es nicht zu lernen.

Selbstverständlich versorgen wir Dich mit Links, wo Du Dir den Stoff erarbeiten kannst und helfen Dir auch bei kniffeligen Fragen, aber solche einfachen Dinge wie eine Perl-Module-Nachinstallation oder einen Cron solltest Du bitte eigenständig hinbekommen.
Google ist im Zweifel immer Dein Freund.

Perl-Module installieren (http://www.pro-linux.de/news/2002/0070.html)
Cronjobs (http://www.sequenz.ch/archive/2003/12/07/crontab-beispiel.html)
Postfix-Buch (http://www.postfix-buch.com/)
Postfix (http://www.postfix.org/)

Nimm das bitte nicht persönlich, es hat auch nichts mit Arroganz oder so zu tun, sondern Du alleine bist für diesen Server verantwortlich und deswegen musst Du Dir halt zwingend auch die dafür nötigen Kenntnisse erarbeiten..

MarcoZink
09.08.2009, 11:31
Hm, ich hätte meine Frage anders formulieren müssen. Ich meinte damit ja nicht das mir jemand fertige Skripte liefert um z.B. irgendwas per Mail zu versenden oder so. Das bekomme ich schon hin. ich dachte bloß das pflogsumm selbst irgendwie eine Möglichkeit bietet das mit einem Befehl zu machen. Dem ist aber wie ich denke nicht so sonst würde bei --help ja irgendwas kommen. Jedenfalls hab ich mir jetzt ein Shellskript gebaut welches das letzte Log nutzt zum auswerten und mir die Auswertung per Mail schickt. Mein bisheriges Logrotate war so aufgebaut, dass es rotierte wenn entweder ein Monat um war oder die Dateigröße einen Wert überstiegen hat. Das hab ich geändert damit täglich ein Log entsteht und die Auswertung somit auch täglich läuft. Ist eben jetzt nicht von 0 bis 0 Uhr aber is ja auch egal es wird jedenfalls ein Zeitraum von 24 Stunden betrachtet.

Außerdem hab ich mir mailgraph installiert um im Browser grafisch eine Auswertung zu haben. Wozu mit PHP und pflogsumm rum hantieren wenn es fertige Programme gibt. Bei Debian sind all die Programme ja über apt-get zu installieren von daher war das sehr einfach.

Das einzige was jetzt noch nicht will ist der Aufruf von Mailgraph im cgi-bin Ordner des Webs. Denk mal die Rechte und der Owner stimmen noch nicht.

P.S.: Weblinks zu Dokus usw. sind immer gut. Aber als freund des gedruckten Wortes und mit reihenweise Fachbüchern ist es mir immer lieber wenn mir jemand ein Buch nennt was ich bei Amazon usw. bestellen kann. Ist vielleicht altmodisch aber ich lese solche Fachbücher tatsächlich zum einschlafen ;) Ich hab z.B. fast alle Bücher der Serie "Für Dummies" und wer meint das seien Bücher für die bei denen jedes andere Buch zu schwer sei irrt sich. Die sind einfach nur anders geschrieben und erklären eine Sache so, dass man es versteht ohne Hintergrundwissen auf einem anderen Gebiet. Wobei ich z.B. für OOP bei PHP 4 andere Bücher hab die 1000 mal besser sind aber die setzen eben voraus das man sich mit PHP schon auskennt.

actro
09.08.2009, 11:38
Daher der Link auf das Postfix-Buch. Das ist Pflichtlektüre, auch die Mailingliste lohnt sich in jedem Fall.
Man bekommt es über Amazon.

pflogsumm sendet mir stündlich einen Bericht von jedem der Server, die ich betreue, da sind einfach mehr Details enthalten als in einer Grafik.

Mailgraph ist hypsch, aber leider nicht wirklich aussagefähig.

MarcoZink
09.08.2009, 11:48
Wirklich stündlich? Macht das denn überhaupt Sinn? Gut, so kann man eingreifen falls was passiert aber ich denke das Risiko in dem Bereich ist doch überschaubar oder? Vor allem über welchen Weg hast Du das gemacht? Rotierst du deine Logs dann auch stündlich oder bekommst Du einfach ein mal die Stunde die auswertung des aktuellen Logfiles?

Hab grad zufällig noch gelesen das AWStats wohl ne recht gute Auswertung für Mails hat. Mal sehen ob ich meinen Webalizer gegen AWStats tausche. Vor hatte ich das schon mal aber bis jetzt nie umgesetzt.

actro
09.08.2009, 11:56
Ich rufe stündlich einen Cron auf..
pflogsumm braucht keine stündliche Rotation, sondern merkt sich den Einsprungpunkt ins Log..
Du bekommst eine detaillierte Übersicht, welche Blacklist was abgelehnt hat, über deferred Mails und zugestellte Mails, etc..
Auf jeden Fall lassen sich so auf den ersten Blick Fehler sehen, die man dann anhand des Zeitpunkts leicht in den Logs greppen kann..

MarcoZink
09.08.2009, 12:04
Ich hab inzwischen mal manuell einige ältere Logs ausgewertet und das ist der Hammer wie viele Mails da aufgrund von Spam geblockt wurden. Jedenfalls hab ich keine Fehler in meinem Postfix oder so gefunden.

AWStats ist übrigens echt nicht schlecht. Die Auswertungen die Webalizer macht sind darin enthalten wenn auch etwas anderes zurecht gemacht und es gibt noch einen ganzen Haufen anderer Auswertungen wie eben die Mailauswertung, FTP Auswertung usw.

Naja ich lass es jetzt aber mal gut sein die nächsten Tage bekomme ich eh einen neuen Server dazu und da inst. ich Lenny drauf und was sonst so nötig ist. Da installier ich dann gleich von Anfang an AWStats dann muss ich jetzt nicht zusehen das sich das nicht mit dem Webalizer beißt.

actro
09.08.2009, 12:10
Zur grafischen Überwachung hat sich munin (http://helmschrott.de/blog/server-statistik-unter-debian-mit-munin/) bewährt.
Du bekommst viele Plugins für diverse Dienste und es ist nicht weiter schwer, sich da selber benötigte Plugins zu schreiben..

MarcoZink
09.08.2009, 12:21
Die Installation ist ja echt mal einfach. Ich schau es mir grade mal an was das Teil so alles bringt. Danke für den Tip!

MarcoZink
09.08.2009, 13:56
Ich hoffe ich mach keinen Fehler hier direkt noch mal zu antworten aber ich hab nicht gefunden wo ich was bearbeiten kann.

Dieses Munin ist echt ein feines kleines Tool. Genau was zur Auswertung per Email noch gefehlt hat. Und die Plugins kann man wirklich einfach erstellen - vorausgesetzt man weiß wie man an die gewünschte Information kommt.

Ich habe bei mir ein Software RaID: [ID filtered]

TillP
09.08.2009, 19:41
Das haengt natuerlich ganz vom RaID: [ID filtered]

Bei mir bzw ZFS unter (Open)Solaris geht das mit "zpool status".
Mein anderes RaID: [ID filtered]

Was auch immer du einsetzt, das kann dir das auch sagen, da bin ich mir sehr sicher.

ghost0815
09.08.2009, 20:31
Ich habe bei mir ein Software RaID: [ID filtered]
Spielzeug und Performancebremse in einem Zug, ich persönlich halte dies für unüberlegt.
Sofern keine Redundanz durch mehrer HDD in einem Hardware RAID: [ID filtered]

Zum Auslesen:
Status SoftRAID: [ID filtered]
Details: mdadm --detail /dev/md1

Ich habe den Eindruck du weißt nicht so ganz was du da tust. Learning by doing ist sehr effektiv, aber nicht wenn dabei Kundendaten über Board gehen können.

TillP
09.08.2009, 22:25
Das kann man so nicht stehen lassen.

Ein Software-Raid, also mehrere physikalische Platten zu einer logischen Platte ueber eine Software, sei es nun lvm oder zfs oder was ganz anderes, kann genauso leistungsfaehig sein wie ein Hardware-Raid.

Es gibt aber auch verschiedene Arten an Hardware-Raids:
billig: Lagern alle Arbeit an die CPU aus, haben dazu den Nachteil, dass bei einem Hardwaredeffekt im Controller oftmals auch alle Daten weg sind.
teuer: Haben eigene Chips, die Checksummenberechnung etc. durchfuehren, minimale CPU-Belastung, Treiber sind nicht noetig oder dienen nur der Statusabfrage(Ohne Treiber ueber Webinterface), diese Systeme verhalten sich gegenueber dem Betriebssystem wirklich wie eine Festplatte.

Software-Raids haben den grossen Vorteil, dass man, sofern die Konfiguration gesichert ist, auch bei einem defekten Mainboard mit kaputtem-Festplattencontroller einfach die Platten in ein anderes System stecken kann und das RaID: [ID filtered]

Bleibt die Performance:
http://www.sun.com/servers/x64/storageservers/index.jsp
Nur mal als Beispiel fuer eine professionelle Loesung, die Software-RaID: [ID filtered]

Fakt ist: Viele Fileserver haben viel zu grosse CPUs. Und selbst wenn das nicht der Fall ist: Fuer den Preis eines richtigen Hardware-Raids kann man dem System auch einen Kern mehr und etwas RAM spendieren.


Bei einem Fileserver mit Software-RaID: [ID filtered]
Sonst schiebt man Daten ueber Netz nach /dev/null und stellt fest, dass der Client zu langsam in /dev/null schreibt.

ghost0815
10.08.2009, 06:43
Okay, wir gehen hier jetzt völlig OT, aber die Diskussion hatte ich schon zu oft.
Spätestens wenn ich die Unterschiede hier bei mir zu Hause vorführe werden die Unterschiede jedoch klarer und sichtbar.
Wir diskutieren hier über Server, kein Daddel oder Home PC.

Software RAID: [ID filtered]

Low Cost RAID: [ID filtered]
Es sind nicht wenige Probleme bei diversen Chipset mit meistens SIL Controllern bekannt, bedingt durch nicht so schöne Kernelimplementierungen.

Hardware RAID: [ID filtered]

Das größte Problem sehe ich nicht in der Performance, die kann man bei der heutigen Performance der HDD's vernachlässigen, es sei denn es handelt sich um SSD HDD's.
Es kommt nicht selten vor dass spätestens beim Umzug eines Software RAID: [ID filtered]

Ich reiße alles nur oberflächlich an, möchte jedoch noch auf die Performance eingehen.
Das beste Beispiel sind meine 2 SSD HDD. Als erstes unter ICH10R ins RAID0 gepackt und OS installiert: Durchschnitt Lese 120 MB/Sek. Burst 380 MB/Sek.
Normalbetrieb am ICH10, RAID0 unter OS, Lese 98 MB/Sek. Burst 256 MB/Sek.
Dann am Adaptec 2405 als RAID0. Lese 330 MB/Sek. Burst 3202 MB/Sek.

Aus meiner Sicht gehört ein Server OS auf ein RAID10 oder RAID60, sowas betreibt ein OS nicht wirklich zuverlässig.

MarcoZink
10.08.2009, 08:28
Was soll ich sagen, mir wird vorgeworfen ich hab keine Ahnung und mache nur mist und dann wird sowas geschrieben.

Software RAID: [ID filtered]
Ich weiß nicht wo Du diese Information her hast aber bei meinem Server sind 2 HDD's verbaut und diese in einem Software RaID: [ID filtered]

Die Hardware RaID: [ID filtered]

Wie oft erlebt man es, dass in einem Server direkt mehrere Festplatten ausfallen? Damit ein Raid60 Sinn macht müssen 2 auf ein mal ausfallen und selbst dann ist es noch nicht nötig.

Sicher hast Du recht und Hardware RaID: [ID filtered]

So, ich hoffe die überflüssigen Diskusionen über das vermutete Wissen anderer kann damit abgehakt werden.

ghost0815
10.08.2009, 09:05
Sorry wenn ich dir auf den Fuß getreten bin.

Da ich die letzten Monate nur noch Windosen betreue bin ich fachlich dort hinein gerutscht.
Unter Windows ist es nicht möglich nach Erstellung eines Software RAID: [ID filtered]

Dass Hardware RAID: [ID filtered]

Wie oft HDD ausfallen? Nun, bei mir sind letzten Monat 4 neue Seagate 1,5 TB HDD ausgefallen. Das waren auch die einzigen, aus welchem das RAID10 bestand.
In den letzten Jahren sind alleine bei mir Privat massig HDD ausgefallen. Egal ob WD, Samsung oder anderes Geraffel. Selbst SCSI HDD fallen mal aus, bei uns im Betrieb ist die Rate bei 5 TB auch nicht gerade gering. Hängt also vom Erfahrungs- und Einsatzlevel ab, wie oft man sowas erlebt. Abgesehen vom MTBF.

Die Spezifizierung auf Webserver grenzt es natürlich ein, volle Zustimmung.
Da wäre ein RAID5 sicherlich perfomanter als ein RAID10, und günstiger. Oder eben RAID1. Je nach belieben.

Richtig, es sollte auch nicht ausarten, noch angriffslustig sein.
Schöne Woche wünsche ich :cool:

MarcoZink
10.08.2009, 10:26
Na dann haben wir natürlich aneinander vorbei geredet :D
Ich gebe Dir recht, dass Windows zumindest nicht ohne weiteres auf einem Software RaID: [ID filtered]

Mich würde mal interessieren was Du mit den HDD's machst das die bei Dir so oft ausfallen. Und was die Ursache ist. Werden sie ggf. zu warm? Gibts wirklich so viele Schreib und Lesevorgänge das die Belastung so hoch ist? Zuhause ist mir wirklich seit ich Computer nutze nur ein einziges mal eine HDD kaputt gegangen. Und das weiß ich in der Nacht eine Defragmentierung, Bereinigung und Überprüfung zugleich laufen hatte und zusätzlich noch mehrere große Dateien kopiert. Das war einfach zu viel für die kleine Platte. Da ich aber damit gerechnet habe das die Platte es nicht mehr lange macht war das kein Thema. Ich wechsel auch spätestens nach 3 Jahren die Festplatte. Alle meine Daten wie Fotos, Musik, Filme und was der Privatmensch so alles hat habe ich mindestens auf 2 Platten wenn nicht sogar auf 3 oder meine Hochzeitsbilder sogar auf 5 :D. An Herstellern habe ich eigentlich nur WD und Samsung und bin auch zufrieden damit. Die RaID: [ID filtered]

Welche SSD hast Du denn im Einsatz und hast Du bei denen auch so hohe Ausfälle?

ghost0815
10.08.2009, 11:49
Ich mache nix besonderes mit den HDD. Im Durchschnitt verwende ich die Blechkiste 4 bis 6 Stunden pro Tag, je nach Freizeit. Ein paar Spiele, Web und Office. Ich hatte die letzten Jahre viele Probleme mit HDD's. Grundsätzlich fahre ich diese immer im RAID, sonst dauern mir etliche Dinge zu lange (Speedfanatiker). Egal was ich verwendet habe, abgeraucht. Im Schnitt nach 2 bis 3 Jahren Sendepause. Der Hit waren die Seagateteile. Hatten eine nicht korrekte Firmware. Einsenden. Ausgetauscht. Nach dem dritten Tausch war Ende. Jetzt Samsung RAID: [ID filtered]

Die SSD HDD haben so keinen Verschleiß, sind aber der letzte (Reim). Haben zwar eine schnelle Performance, super schnell, sobald aber dauerhaft viele IO's auftreten ist stillstand.
Also Surfen, Download und Musik ist Ende. Schon alles probiert, Partition aligned, verschiedene Puffergrößen, verschiedene OS, diverse Controller, rotzepampe.
Nehme ich die kalkulierte Höchstlaufzeit der HDD ist es rausgeschmissenes Geld.
Für ein Laptop hingegen empfehlenswert, als Single HDD. Kein Betriebsgeräusch, keine Wärme und schnell.

Überhitzt können sich die HDD's nicht haben, die sitzen im HDD Käfig mit Lüfter und Temp-Überwachung. Ist halt viel Schrott, was heute verkauft wird. Meine alten IBM SCSI im Sekundärrechner werkeln brav und sind ca. 12 Jahre alt.

So, nu aber wieder husch zum Thema :D

MarcoZink
10.08.2009, 12:58
Genau und vor lauter HDD uns SSD und weiß der geier hab ich vorhin ganz vergessen zu posten was ich eigentlich wollte :D

Laut pflogsumm sind in den letzten 24 Stunden fast 4000 Emails vom Server abgeschmettert worden alleine aufgrund von den Blacklists in Postfix und den Dingen in der main.cf. Die Frage ist jetzt wie verfeinert man das noch? Spamassassin hab ich seit 2 Tagen mal abgestellt um zu sehen wie viel Spam Postfix tatsächlich alleine schafft aber den kann ich ja wieder in Betrieb nehmen. Allerdings bin ich mir da nie so sicher wie ich den Score Wert einstellen soll. Bei 8.0 kommt zu viel durch. Bei 5.0 kommen vereinzelt noch Spams durch aber ich glaube wichtige Mails werden noch nicht gefiltert. Bei 2.0 kommt bis auf unter 1% kein Spam mehr durch aber dafür auch 60-80% der Kundenmails nicht mehr.

Ich würde das gerne so umändern, dass sagen wir mal alles über 6.0 direkt ganz gelöscht wird und alles zwischen 4.0 und 6.0 mit dem Zusatz "***SPAMVERDACHT***" im Betreff versehen wird und alles unter 4.0 einfach durch geht. Dadurch könnte man bei den letzten paar Spammails die dann noch durch kommen in Outlook z.B. eine Regel erstellen welche die Nachrichten anhand des geänderten Betreffs finden und dann in einen Spamordner verschieben. Dort kann man dann ja mit Fingerspitzengefühl die Scorewerte betrachten und vorsichtig die Werte korrigieren bis man fast genau dort landet wo Kundenmails grade eben noch durch kommen aber so viel wie möglich Spam hängen bleibt.

Was mich noch so ein wenig wundert ist das z.B. bei Wikipedia ausführlich darüber geschrieben wird wie Spam aufgebaut ist und welche Techniken es da so gibt und so. Warum wird dieses Wissen denn nicht verpackt in ein Programm was genau das alles kann? Mir fehlt auf meinem Server z.B. eine Möglichkeit die Emails auch nach Inhalt zu filtern. Das heißt das ich eine Blacklist und Whitelist hab wo ich dann Viagra usw. eintrage um solche Mails auch dann zu filtern wenn die anderen Methoden nicht greifen und zusätzlich eben auch um gewissen Worte und Sätze in die Whitelist zu packen damit Kundenmails z.B. gar nie nicht gefiltert werden.

Und nicht das jetzt wieder jemand denkt ich hab keinen Durchblick von Linux usw. ich weiß durchaus das ich eine Textdatei anlegen könnte welche ich Blacklist nenne und in die ich rein schreibe was immer ich will und das ich dann die Mails inhaltlich nach diesen begriffen durchsuchen lassen kann und bei einem Treffer die Mails lösche. Aber von einem Programm erwarte ich das die Trefferquote eine Rolle spielt. Wenn also ein Wort gefunden wurde und zusätzlich eines aus der Whitelist welches als extrem wichtig gekennzeichnet ist oder wegen mir schon 10 mal von mir als unbedenklich eingestuft wurde das dann die Mail trotzdem durch kommt. Ähnlich wie spamihilitatotira (oder wie das Dingen noch heißt) arbeitet. Zwar ein unspektakuläres Tool aber in Sachen Black und Whitelist finde ich einfach super genial. Dieser Trainingsmodus sollte irgendwie in einer Form für Webserver existieren z.B. als Webanwendung in Webmin oder als Plugin für Confixx, Plesk, SysCP, ISPConfig und wie sie alle heißen.

Naja genug geschwafelt. Meine eigentliche Frage steht ja weiter oben :D

alariel
10.08.2009, 13:34
Nunja, Prinzipiell filtert Spamassassin ja auch den Body - Du müsstest hier nur die Scorewerte entsprechend hoch ansetzen...

Dementsprechend kannst Du im Nachgang auf den Scorewert filtern; Spamassassin macht ja nichts weiter, als diesen der Mail "zu verpassen".

Beispiel Exim (Du weisst schon...)

warn message = X-Spam-Score: $spam_score\n\
X-Spam-Score-Int: $spam_score_int\n\
X-Spam-Bar: $spam_bar\n\
X-Spam-Report: $spam_report
spam = spamassassin:true


Das macht nichts anderes, als die entsprechenden Header mit den entspr. Werten in den Header der Mail zu schreiben und das Ganze wieder an Exim zurückzureichen. Hier könnte ich jetzt mit Conditions arbeiten, ganz nach dem Motto "Wenn X-Spam-Score-Int > 100 dann /dev/null" oder ähnliches. Wenn ich nicht so neugiereig wäre bräuchte ich auch nur den INT-Wert, aber für ggf. Scoreanpassungen hab' ich auch den Report immer ganz gerne dabei :)

Postfix bzw. Procmail sollten da ähnliches bieten...

MarcoZink
10.08.2009, 14:43
OK das geht natürlich. Ich dachte nur es gibt ein Tool was sowas kann wovon ich noch nicht gehört hab. Ich muss mal mit denen schreiben die das CP entwickelt haben was ich auf dem Server nutze vielleicht erklären die sich bereit die Steuerung von Postfix sowie Spamassassin zu inplementieren. Ich mag es am liebsten wenn ich sowas alles in einem Tool machen kann und nicht über 10 Wege. Außerdem fand ich an der älteren Version gut das auch der Kunde (Webuser) seinen Spamassassin selbst einstellen konnte.

Ich hab es übrigens aber auch so eingestellt das ich den Report sehe. Mich interessiert auch wie der Score Wert zustande kommt. Alleine was durch Verwendung von HTML und Grafik für ein Score zusammen kommt da macht sich der normale User gar kein Bild von. Wobei es aber auch blöde ist das man auf "schöne" Mails verzichten muss nur um nicht in die Spamfalle zu tappen.

alariel
10.08.2009, 15:17
Nunja. Ich erlaube mir persönlich, HTML-Mails als Angriff auf dei Bandbreite meines Anschlusses zu werten, und dementsprechend klingen dem Absender hinterher die Ohren ;)
Tendenziell geht der Informationsgehalt von HTML-Mails ohnehin gen NULL, von daher hab' ich gerade da den Wert hochgeschraubt. Für "schön" gibt's PDF - oder vergleichbares. Aber das Thema ist vermutlich so alt wie das Programm, das als erstes HTML in einer Mail gerendert hat *shudda*

MarcoZink
10.08.2009, 15:28
Naja ich leg auch keinen Wert auf HTML. Alle Informationen die ich verschicken will passen auch in reine Textmails. Und aus dem Alter wo man Herzchen verschickt oder rosa Briefpapier benutzt bin ich raus von daher is das überflüssig :D

Aber noch mal zum Thema. Wenn ich jetzt die Sachen in Postfix + zusätzlich Spamassassin laufen habe und auf dem neuen Server Amavisd oder wie das heißt laufen wird hab ich dann soweit alles was möglich ist getan oder gibt es noch weitere Tools die Spam vom Server abhalten? fail2ban usw. ist ja nicht dafür sondern als Schutz für den Server selbst deshalb ist sowas erst mal egal das hab ich eh alles drauf.

actro
10.08.2009, 18:37
Marco, lies Dich mal in procmail ein..der kann das besser filtern und auch durch den Spamassi schubsen. Die Syntax für procmail ist klasse und es lässt sich bequem über ein shellscript schieben. Wenn Du Dir das Archiv direkt vom Hersteller ziehst, ist ein trashcan-script enthalten, mit dem Du experimentieren kannst..

MarcoZink
10.08.2009, 19:30
Mag sein das Procmail in speziell dem Bereich besser ist. Aber ich hab auf einem früheren Server von Schlund nur schlechte Erfahrungen damit gemacht und auf dem darauf folgenden S4Y Server ebenfalls. Speziell bei meinen Webprojekten wo ich Newsletter an User verschicke ist der Server damals fast gestorben weil er 30000 Mails auf einen Schlag verschicken sollte. Der jetzige macht das ohne zu zucken und der neue ist ja noch mal um einiges schneller.

Ich bleib beim komplizierteren Weg und machs über Postfix. Bin übrigens jetzt schon so weit, dass mir in Mails mit Score größer 4 im Betreff "[*Spamverdacht*]" eingebaut wird und direkt im Body der Mail der Report vom Spamassassin geschoben wird. Dadurch kann ich erstens auf dem lokalen Rechner schön filtern und wenn ich die Mails von extern anschaue sehe ich direkt warum die Mails für Spam gehalten wurde. Das genügt mir jetzt absolut. Wobei ich noch überlege eine eigene Blacklist anzulegen für Domains usw. also sprich das ich z.B. alles blocken kann was von einer Domain kommt und solche Mails direkt ungefragt im nichts verpuffen.

Wie auch immer. Danke für die Hilfen. Mein Auswertungsdingsbums mit pslogsumm macht jetzt auch was es soll und legt ne Datenbank an um tägliche, wöchentliche und monatliche Vergleiche zu bekommen mit genau den Informationen die ich haben will. Unnötig wenn man das richtige Tool nimmt aber gut da ich daraus jetzt ein Modul für mein CP mache und so wie ich wollte in meiner "Steuerzentrale" alles auf einen Blick hab.

drboe
10.08.2009, 20:01
Ich würde das gerne so umändern, dass sagen wir mal alles über 6.0 direkt ganz gelöscht wird und alles zwischen 4.0 und 6.0 mit dem Zusatz "***SPAMVERDACHT***" im Betreff versehen wird und alles unter 4.0 einfach durch geht.
Das lässt sich m. E. in /etc/amavid.conf einstellen:

$sa_spam_subject_tag = '***SPAMVERDACHT***';
$sa_tag2_level_deflt = 4.0; # ab score >=4.0 wird Mail als spam eingestuft
$sa_kill_level_deflt = 6.0; # score fuer finale spam-Behandlung
$final_spam_destiny = D_DISCARD; # spam oberhalb sa_kill_level_deflt wird nicht ausgeliefert

D. h. Mails mit einem Score zwischen 4.0 und 5.9 werden markiert und lassen sich in den Clients ggf. weiter filtern. Mails mit einem Score von 6.0 und höher erreichen den Empfänger nicht. Mails mit weniger als 4.0 werden nicht als verdächtig markiert.

M. Boettcher

MarcoZink
11.08.2009, 12:39
OK also Amavisd hab ich auf dem jetzigen Server nicht drauf. Aber auf dem neuen Server der nächste Woche endlich kommt wird Amavisd-new, Spamassassin und ClamAV drauf sein. Den Server hab ich zum testen ja schon in einer VirtualBox installiert (ich installiere die Server immer selbst) und da kann ich das ja schon mal testen.

Die Integration von der Auswertung hat auf jeden Fall schon mal nicht funktioniert. Seit ich das versucht hab klappt mein CP gar nicht mehr :D