Názory k článku SpamBayes: na spam statisticky a dynamicky

I když je na blacklistu?

Mali sme vo firme dobre nastaveny mail server, vsetko fungovalo.. az kym sa cely rozsah IPciek, z ktoreho sme mali jednu, nedostal do blacklistu. Nastastie sa to dalo vyriesit forwardovanim cez nasho ISP. Inokedy sa pre zmenu dostali do blacklistu priamo SMTP servery Slovak Telekomu.

V obidvoch pripadoch to bola naozaj zabava, a odvtedy je pre mna idiot kazdy admin ktory slepo doveruje blacklistom.

Naopak, idioti su ty, ktory pouzivaju blacklisty, ktore tam davaju rovno cele rozsahy IP adries. Alebo admini,ktory si do postfixu daju blacklist, o ktorom absolutne nic nevedia a spoliehaju sa na to, ze ked tam si, tak si to zasluzis. Za cele tie roky sa mi osvedcili iba dva free blacklisty. A to tu spominany zen a spamcop.

sorbs?

Ovšem ne všichni mají ty servery nastavené ideálně zrovna dle Vašich představ.

A osobně považuji jeden zadržený ham za větší zlo než deset propuštěných spamů.

Jeden čas mě tím dost vytáčel GMail.

Problem so spamom som nemal; v poslednej dobe som mal problem s tym, ze som bol oznacovany za spammera. Nastastie len od Googlu a ich GMailu.
Staci na to posielat pomerne vela notifikacii zo skriptov mailom (=podobny text), doplnit to mailing listom s mailami dorucovanymi na viac GMail uctov roznych ludi. K tomu este "typicke registracne" maily ako "Na zaregistrovanie kliknite na example.com". Toto dokaze Google zakazat a prestat dorucovat (tj. ani do spamu); po zmazani nofikacii mailom a obmedzeni komunikacie cez mailing list to funguje dobre.

kde by sme boli nebyt perlu? :) je pravda ze pisat client-server aplikaciu je zverina, ale zas skalovatelnost skrz pracu s regularnymi vyrazmi je bozska :) Za tych par sto mega v ramke to ale urcite stoji

Lide se obvykle obavaji toho cemu nerozumi nebo nejsou schopni pochopit:)

Tak jest, Perl a zejména ten 6 je naprostá bomba a jeho možnosti přesahují vše co zatím ve světě programování existuje. To vám MJ jistě potvrdí.

Naopak perl5 si stale jeste nese syntakticke dedictvi sveho zacatku. Neni to spatny jazyk, sam ho hojne pouzivam, ale jsou tam drobnosti ktere rozhodne na citelnosti kodu nepridaji (napriklad argumenty funkci, syntaxe okolo obektu, a tak podobne). A myslim, ze MJ by take nehovoril v takovych superlativech jako ty.

Jsou lide, kteri dokazi programovat v perlu v jakemkoliv jazyce.

tak tu skalovatelnost bych prosil vysvetlit

Myslienka nechat na klientovi nech sam urci co je spam a co spam nie je je velmi krasna. Ale v praxi, kde pracujete vo firme s viac ako 100 zamestnancami prakticky nerealizovatelna. Pretoze za to, ze maju v schranke spam moze IT oddelenie a nie oni sami. Ma to vyriesit IT oddelenie a nie oni sami. Oznacit nieco ako spam je praca navyse, ktoru ma robit IT oddelenie a nie oni sami.

Nehovoriac o tom, ze v kazdej firme je par ludi(vacsinou sefovia), za ktorych to musi robit IT oddelenie, pretoze to tak proste je. Po dalsie, mail o novych akciach z Tesca alebo Alzy jeden uzivatel zaujem ma, takeho sefa to ale moze otravovat. Jednoducho nevyberies si...

Z vlastní zkušenosti používám blacklisty
cbl.abuseat.org
bl.spamcop.net
dnsbl.njabl.org
zen.spamhaus.org
psbl.surriel.com
dyna.spamrats.com


Dále SPF a greylisting, vše s výbornými výsledky..

Nechat jakékoli blokovací službě právě veta mi připadá hooooodně nešťastné. Na takový seznam se lze dostat celkem snadno - občas totiž přidají větší síť než zrovna jen IP adresu, a pak dochází k blokování serverů, které se spamem neměly nikdy nic společného. Nemluvě o tom, že podle zkušenosti pár známých odstranění z takového blacklistu taky není zrovna záležitost pár minut.

Účinností blacklistů jsem se zabýval ve svých dvou článcích na Lupě: http://www.lupa.cz/clanky/nepouzivejte-ip-blacklisty-1/ a http://www.lupa.cz/clanky/nepouzivejte-ip-blacklisty-2/ Dále je tam porovnání s primitivním Bayesovským filtrem, co jsme měli na Centru. A, nebudu vás napínat, blacklisty v porovnání s ním totálně pohořely. Účinnost nic moc a odmítají velké množství legitimních spamů.

Články jsou sice šest let staré, ale nemyslím, že by se od té doby situace nějak zásadně změnila.

V textu mailu se opakují(podle mě), odkazy na tyto weby:
jobsearch
simple-jobneed
matchwith
joblists
web-newcarer
gb-totaljob

Taky jsem zasadne proti pouzivani IP blacklistu jako absolutni rozhodovaci autority. Nanejvys by mely slouzit jen pro pridani par bodu do skore heuristiky. Z uzivatelskeho pohledu je rozhodne mensi zlo, kdyz se do inboxu dostane obcas nejaky spam, nez kdyz treba firma prijde o dulezitou zakazku ci zakaznika proste proto, ze se k nim nedostanou jeho emaily, protoze se jejich mail server nejakym omylem dostal na nejaky blacklist (a jejich admin v tom pritom muze byt naprosto nevinne, chyba muze byt treba u ISP, nebo u te blacklistovaci sluzby!).

Tak dát právo veta zrovna spamhousu je zcela geniální. Kvůli takovýmto konfiguracím SMTP serverů adminy, kteří si chtějí ušetřit práci, si zákazníci velkých ISP (O2, UPC) pořizují záložní linky od providerů, jejichž celé bloky desítek tisíc adres nejsou na tomto fantastickém blacklistu.

v male spolecnosti (cca 50ks), kde se premnozil spam. Uzivatele behem 3 tydnu nahazeli spam do jedne slozky v outlooku a bayes filtr si je porovnal s "cistymi" maily. Gui rozhrani bylo jednoduche pro nastaveni i spravu uzivatelem, funkcionalita byla bezchybna. Naproste minimum nerozpoznaneho spamu (do 5 mailu) bylo zpusobene malym "ucicim" vzorkem u uzivatele. S filtrem byli uzivatele velmi spokojeni, proto vrele doporucuji stejny postup.

Stoprocentni souhlas, presne tak.

Autor zjevne po proflamovane noci zasedl rano ke googlu a narazil na spojeni bayesiansky filtr. Po pocatecnim soku ze skutecnosti, ze je takovy filtr schopen uceni se rozhodl, ze se o sve zjisteni musi podelit s celym svetem.

Za říjen jsem zaznamenal dvě celkem neobvyklé špičky v příchozím spamu. A zároveň jsem od spousty uživatelů dostal echo, že jim chodí právě ty "pracovní nabídky".
Jinak tohle je podle mého názoru nejlepší antispamová kombinace do větších organizací:
1. Greylisting - must have!
2. SPF (CallerID od MS nebrat! Evidentně se snažili okopírovat SPF, ale sami si to pro své servery neumí nastavit, navíc to skoro nikdo nepoužívá)
3. Blacklisty
4. Bayes

Caller-ID se dost používá v Rusku:
[27/Oct/2011 13:47:37] Caller-ID check failed: IP address 112.197.160.98 is not in permitted set for sender 'cagey0@inbox.ru'
[27/Oct/2011 14:43:42] Caller-ID check failed: IP address 41.90.111.71 is not in permitted set for sender 'nQAgoI@mail.ru'
[27/Oct/2011 15:03:23] Caller-ID check failed: IP address 115.241.204.157 is not in permitted set for sender 'rawest7@yandex.ru'

Obě technologie jsou velmi podobné, ale SPF pracuje s hlavičou FROM na úrovni SMTP komunikace, zatímco Caller ID pracuje s údaji (hlavičkami) z těla zprávy. Teoreticky by uvedené hlavičky měly být shodné, ale v případě SMAPů jsou velmi často rozdílné (a zfalšované). Takže nejlepší je mít nasazeno na vlastní doméně obojí.

Ano, pro Microsoft se bohužel musí udělat výjimka, nejsou schopni si to správně nastavit/používat.

DNSWL nikdy nebol urceny na rozhodovanie ze nieco nie je spam. Jeho uloha je ako doplnok k greylistingu. Servery v DNSWL su plnohodnotne mailservery so vsetkym co k tomu patri a teda hlavne queue a funkcionalita opakovaneho pokusu o dorucenie. A v pripade mailserverov greylisting nema vyznam, akurat zdrzuje prijatie emailu. DNSWL nic nehovori o tom ze z toho mailserveru pride ham alebo spam.
Takze spravne pouzitie DNSWL je dat ho do postfixu pred greylisting. DNSWL sice rozdeluje servery na nejake kvazi doveryhodnejsie (napr. servery velkych institucii), ale to tiez neznamena ze z nich nemoze obcas prist spam.

zen.spamhaus.org a podobní jsou stejná prasárna jako cenzura internetu v Británii. To že se v těchto blacklistech objevují celé rozsahy, kde nemáte šanci s tím(jako blokovaný) cokoliv udělat je jen vrchol ledovce.
S názorem "Řekl jsem si, že bude lepší, když občas něco nedojde" dělá pan autor zřejmě mailserver maximálně pro sebe a manželku. Jinak si nedovedu představit, že by ho v jakékoliv normální firmě dávno nepřesvědčili o opaku.
Lepší je, když občas projde spam. HAM musí dojít vždy!

taky mi prijde ze autor je trosku mimo s tim jak to funguje na velkych mailserverech, na blacklistu je clovek hned, vyjmuti trva dlouho nebo stoji tezky prachy a kdyz nekomu neprijde email ktery mel tak je z toho humbuk jak prase, radsi par spamu ktery uzivatel vyfiltruje svoji hlavou nez objednavky ktery nedorazily ... ten root uz jde taky pekne do haje, uz je to tu skoro jak idnes.

Neni pravda, nase spolecnost se dostala na blacklist kvuli jedne zavirovane masine v siti. Stacilo sprisnit pravidla na centralnim routeru a zazdat si u spravce blacklistu, do 24 hodin jsme byli z blacklistu pryc. A ze sem tam nejaky mail nedojde se stane i v normalnim provozu, samozrejme jednou za deset let:-)

Ale to vite, ze to je pravda. To, ze jste meli stesti u jednoho blacklistu neznamena, ze je to obecna pravda.

Heh, jakmile se ocitnete na nějakém blacklistu, je šance na odstranění vašeho záznamu docela tristní. Uvedu příklad z praxe a upozorňuji, že si nedělám, opravdu nedělám prdel:

Obchodník poslal mail externímu právníkovi.

Právníkův mail server odpověděl "Sorry, jste na blacklistu" - bez uvedení dalších informací, na jakém blacklistu se vůbec nacházíme.

Obchodník tuto situaci konzultoval se mnou. Doporučil jsem zavolat právníkovi, ať poskytne kontakt na správce jejich poštovního serveru.

Za kontakt na správce svého poštovního serveru požadoval právník sazbu jako za právní konzultaci.

Jak to dopadlo, nevím. Z žádného blacklistu jsem dotyčný mail server neodstraňoval, tudíž předpokládám, že se sehnal jiný právník s poštovním serverem bez blacklistu.

> Haters gonna hate.
To je osobní výpat? Pojť se být!

Hmm, a nebude to tím, že "právník" je [word not acceplable] a chtěl za obecnou informaci peníze, jako za právní radu?
Takového právníka bych taky asi poslal k šípku.

Připomíná mi to tu reklamu: Dobrý den ... deset korun :-)

Já to řešil informováním Googlu, aby zrušil domény @europe-career.com @it-jobsearch.com @simple-jobneed.com a @tech-newposition.com kam se měly posílat odpovědi a zároveň jsem si podle IP adresy našel abuse email správce daného IP rozsahu a oznámil mu rozesílání spamu z dané IP adresy

Provozuji mailserver pro nekolik zakazniku (zadna high-volume site, jen radove tisice emailu denne), vyuzivam greylist, SPF, SpamAssassin, spam-signatury do ClamAV, ted dodelavam DKIM, blacklisty pouzivam take ale NIKDY k tvrdemu rejectu zprav (to se mi seredne vymstilo), pouze prislusny email oznacim do zahlavi, muze pak s nim pracovat klient dle sveho uvazeni:

blackholes.mail-abuse.org
dialup.mail-abuse.org
dnsbl.sorbs.net
dnsbl.njabl.org
cbl.abuseat.org
zen.spamhaus.org
hostkarma.jun­kemailfilter.com
drone.abuse.ch
httpbl.abuse.ch
spam.abuse.ch
bl.spamcop.net
bl.score.sender­score.com
b.barracudacen­tral.org
dnsbl-1.uceprotect.net
psbl.surriel.com
dyna.spamrats.com
dnsbl.ahbl.org

dnsbl.sorbs.net je najhorsi blacklist aky poznam. Ten radsej nedoporucujte.

Když firma obchoduje jen na domácím trhu a i zahraniční vlastníci obchodních partnerů nejsou odjinud než z Evropy, lze si troufnout i na lokální blacklist IP rozsahů např. někde z Jižní Ameriky, Číny nebo Afriky.

nevi nekdo, proc uz vice jak rok nevysla zadna nova verze SpamBayesu ?

Autoroci asi chybi praxe.. blacklisty jsou nahouby, pokud ma clovek sdileny hosting. Tj. smtp servery pro vice uzivatelu, kteri se navzajem neznaji (nekdy se jim rika zakaznici).
Pokud nas nejaky takovy zakaznik na blacklist dostane, mame v zasobe par ip adres a ty pak prohodime. Utocnika vetsinou identifikujeme. Pokud ne, dostane dalsi ip na blacklist. Tak pouzijeme dalsi IP a zazadame o delist predchozich IP... a tak porad dokola.
Vysledek je, ze se spam stejnak siri (ostatni zakaznici si stezuji na nemoznost odesilat maily. Nemusim podotykat, ze funkcnost sluzby je velmi dulezita).

Lepsi stiznost na problemy s dosluhovanim ipv4 jsem uz dlouho necetl. :-)

Ano. Kdyby kazdy zakaznik nesl zodpvedmpst za mu sverenou IP, byl by to raj.

Kazdopadne IPV6 nehodlam uznat, dokud se nedopise do netfilteru podpora NATu (minimalne portforwarding).