Názory k článku Stavíme vlastní e-mailový server: Apache, DANE, Bind a Postfix

https://blog.google/topics/google-cloud/google-cloud-our-commitment-general-data-protection-regulation-gdpr/

Aha, jenže tohle řeší jen první půlku problému. Toto řeší zpracování osobních dat zákazníka Googlu v souladu s GDPR (či-li to přijmení a jméno, co k účtům přidáváte, ale budou tam asi i další - telefonní čísla, email dresy, ...). Což Google musí splnit, pokud chce dál působit v EU (ať pro firemní nebo koncové zákazníky). A bude to součástí i programů zdarma.
Ale je jeden nepříjemný bod jménem zpacování osobních dat třetí strany, který musí řešit firmy. Typicky, že Vám piošlu svůj životopis v papírovém dopise, vy ho naskenujete a uložíte na Google disk (což ještě ošetřit můžete, že ho tam nedáte), ale můžu Vám ho poslat mailem a uloží se na Váš Gmail firemní účet. A toto musíte mít zvlášť ošetřeno, protože je to dost nepříjemná právní záložitost pro obě strany.
Nepochybně to Google, MS a další vyřeší, na to prostředky a možnosti mají (na rozdíl od nějaké nebohé mzdové účetní, co dělá mzdy pro 10 malých firem někde na okrese, tu z toho bude bolet hlava asi víc), už to většina poskytovatelů služeb i deklarovala, ale už to nebude asi zdarma.

A este ake osobne data? My tam okrem mena a priezviska ziadne ine udaje neevidujeme.

Tj, a ty maily(ktery ani nejde smazat) sou vzduch zejo ...

> muze vynutit zmenu hesla
mozes ale to sa uzivatel dozvie - v pripade vlastneho email servera admin vidi rovno do mailov

> keyloger
moze si ho pri dvojfaktorovke napchat aj hocikam inam - vlastnictvo vlastneho email servera tomu ale aj tak nijako nezabrani

> soucasti podminek je souhlas se zpracovanim veskerych dat
a aj si si precital ten blog?

Google i MS nabídnou službu v souladu s GDPR pro zpracování osobních dat třetí strany. Tam asi nebudou dělat věci, co nemají, ale asi už to nebude zdarma.
Dál to nemá smysl tady asi řešit, stejně malá firm nemá šanci GDPR plně vyhovět a celé GDPR bude jen nástroj na buzerování nežádoucí konkurence. :-)

Vy ste ale nepochopili ze to nemas nas admin. Mam to pod palcom ja.

V tom případě jste ten admin vy. Pokud váš admin nebude mít rootovský přístup na mail server, tak si taky nic nepřečte.

Tak já tady nechci v žádném případě vést při o tom, co je správně a co ne, je samozřejmé, že je to případ od případu jiné :-)
Nicméně mluvím z pohledu člověka, který se 10+ let stará o mailserver firmy s celorepublikovou působností a stovkami userů. A proto vím, že je daleko praktičtější zařezávat vše podezřelé a řešit jednotlivé případy false positive, než to dělat naopak. Ono žádný analyzátor obsahu nenaučíte co je spam bez toho, aniž byste ho zároveň neučil, co je ham. A žádné AS řešení nezačne fungovat samo od sebe, bez primárního nakrmení daty.
No a pokud máte ta primární data dostatečně obsáhlá, pak newslettery příslušným uživatelům normálně chodit budou, protože je v 99% případů posílají korektně nakonfigurované mailservery, jejichž správci si dávají velký pozor na to, aby se nedostali na blacklist, protože by jejich základní podnikatelský nástroj přestal fungovat a zároveň AS systém ví, že se jedná o ham.

Pokud to ale celé necháte jen na analýze obsahu (vaše volba) a jednoho krásného dne si vás vybere spammer z Mexika, Ruska nebo co já vím odkud, tak vám 1) utaví linku, protože vám bude hrnout stovky až tisíce mailů za minutu 2) uvaří server, protože vy vše v dobré víře přijmete a předhodíte Spamassasinu k analýze (což si RAM a CPU za rámeček nedá). Pokud ale přistoupíte na mou filosofii, tak se tomuhle riziku vyhnete, protože zabere a) greylisting nebo b) DNS a dynamické IP nebo c) blacklisty a váš server ta spojení odmítne už na začátku SMTP komunikace.

Jak jsem psal, vždy to záleží na množství běžných dat, které se odvíjí od počtu uživatelů. Nicméně v černé díře nikdy nic nezmizí, na to máme v linuxu logy :-)

A když to vezmu popořadě, tak:

1) greylisting - nic nekorektního se neztratí, protože standardní mailserver udělá druhý pokus o doručení. Pokud neudělá, je to spammer.

2) DNS a dynamické IP - korektní mailserver má pevnou IP a správně nastavený reverzní záznam, jinak by nebyl schopen doručit poštu na polovinu serverů ve světě. Pokud nemá, je to spammer.

3) blacklisty - tady k nějaké kontroverzi dojít může, nicméně, pokud používáte běžné listy typu Spamhaus a Sorbs, tak ty fungují velmi korektně a pokud jsem něco řešil, tak to byl akorát seznam.cz. Který měl mimochodem onehdá problém i s microsoftími mailservery, kdy nabíral mnohahodinové zpoždění v doručování díky MS reputační politice. Takže i u rozumně používaných blacklistů platí, že pokud něco blokují, je to spam (na 99%).

Z čehož myslím celkem jasně vyplývá, že těmito kroky může dojít maximálně ke zpoždění doručení (což ničemu nevadí, e-mail není IM a neexistuje žádná záruka, že bude doručen během vteřin), ale nic korektního nemůže zmizet v černé díře. Ve výsledku vám to může jen pomoci - menší vytížení linky, méně zátěže pro server, menší logy a pro uživatele méně bordelu mailboxu SPAM.

Pokud tímhle úvodním sítem e-mail projde, je velká pravděpodobnost, že je korektní nebo je to něco typu newsletter a je na místě zanalyzovat obsah a rozhodnout co s ním - dle preferencí jednotlivých uživatelů nebo firemní politiky. Buď jim dojde, nebo jim spadne do mailboxu SPAM. Ale nikde se neztratí.

Takže asi tolik za mně k problematice AS, více už to asi nemá smysl rozebírat. Pokud jsem vás nepřesvědčil, nedá se nic dělat, ale říct jsem to prostě musel :-)

1) greylisting - nic nekorektního se neztratí, protože standardní mailserver udělá druhý pokus o doručení. Pokud neudělá, je to spammer.

Neudělá, pokud se používají stovky mailserverů naprosto náhodně (Outlook.com, Gmail), tak další pokus udělá možná druhý den. Naprosto zásadní problém. Krom toho, na to, za jak dlouho to ten server zkusí znova, nemám žádný vliv. Uživatele to neskutečně otravuje (před pěti minutami jsem to posílal, to už tam dávno musíte mít...)

3) pokud používáte běžné listy typu Spamhaus a Sorbs, tak ty fungují velmi korektně

To snad nemyslíte vážně.

Ano, v dnešní době už opravdu nelze kontrolovat v tripletu IP odesilajíciho serveru, ale je potřeba změnit typ kontroly na celý subnet, pak to funguje i v případě téhle cloudové prasárny. Ale to snad každý správce mailserveru ví. Nebo by měl vědět.

A s těmi blacklisty to myslím smrtelně vážně.

Z názorů Lol Phirae si nic nedělejte, ten pokládá za normální, že blokuje poštu na servery bez MX záznamu.

Ano, nadále to pokládám za zcela normální a racionální. Určitě to bude lepší, než když si nějaký magor nastavíte odmítání pošty za základě blacklistů Spamhaus a Sorbs.

Aha. Už jsem se setkal s lidmi, kteří vědí všechno nejlíp, všichni kolem nich jsou blbci, kteří ničemu nerozumí a jsou proti nim jen proto, že jim závidí jejich genialitu. Šmahem označují lidi s jiným názorem za magory (v lepším případě)... no jestli je to váš případ, je mi vás vlastně celkem líto. Nicméně já se do debaty tohoto typu zatáhnout nenechám, stejně jsem už vše podstatné napsal, takže vám jen popřeji pěkný zbytek dne.

PS: Doporučuji prostudovat postgrey --lookup-by-subnet.

PS: Doporučuji prostudovat postgrey --lookup-by-subnet.

Ano, "addresses are normally stripped of their last byte, so that mail servers with multiple addresses are recognized as only one" je nám např. u toho Gmailu opravdu hodně platné.


"v=spf1 include:_netbloc­ks.google.com include:_netbloc­ks2.google.com include:_netbloc­ks3.google.com ~all"

_netblocks.go­ogle.com text = "v=spf1 ip4:64.18.0.0/20 ip4:64.233.160.0/19 ip4:66.102.0.0/20 ip4:66.249.80.0/20 ip4:72.14.192.0/18 ip4:74.125.0.0/16 ip4:108.177.8.0/21 ip4:173.194.0.0/16 ip4:207.126.144­.0/20 ip4:209.85.128.0/17 ip4:216.58.192.0/19 ip4:216.239.32.0/19 ~all"

_netblocks2.go­ogle.com text = "v=spf1 ip6:2001:4860­:4000::/36 ip6:2404:6800­:4000::/36 ip6:2607:f8b0­:4000::/36 ip6:2800:3f0:­4000::/36 ip6:2a00:1450­:4000::/36 ip6:2c0f:fb50­:4000::/36 ~all"

_netblocks3.go­ogle.com text = "v=spf1 ip4:172.217.0.0/19 ip4:108.177.96.0/19 ~all"


Ach jo... lookup-by-subnet se použije u těch domén a IP, které nejsou whitelistované. Google.com (a řada dalších) je na whitelistu by default. Ale to vy přece dobře víte.

Ach jo... lookup-by-subnet se použije u těch domén a IP, které nejsou whitelistované.

Ano, jistě. A tam zaručeně budou ty různé mailservery na stejné /24. Ach jo, opravdu. A přitom bych mohl použít rovnou to SPF a na celou hovadinu s nefunkčním otravným greylistingem (kde musím whitelistovat asi tak 90% objemu příchozí pošty, která logicky chodí od megaposkytovatelů typu Gmail/Outlook­.com/Seznam apod.) se rovnou vysrat, že.

Tak snad se dá nastavit, že pokud souhlsí SPF (s ignorací SPF záznamů typu 0/0), tak se grey nepoužije a kdo nemá souhlasný SPF, tak se greylistingem prožene. Toto aspoŇ odstřelí ty domácí PC v botech, co chrlí SPAM.

Jenže SPF nepoužívají zdaleka všichni, že.
Problém u greylistingu nastává ve chvíli, kdy je odmítnuta pošta kvůli neexistujícímu tripletu a druhý (a další) pokusy přicházejí z různých serverů. U Google stačí whitelistovat google.com (což je by default). U Outlook.com celé rozsahy, které MS zveřejňuje na webu a pravidelně aktualizuje:
https://mail.live.com/mail/ipspace.aspx
Problematický je cloud Amazonu. U toho se ale úspěšně uplatní lookup-by-subnet a maily dorazí taky v rozumné době (do 30 minut).
Nehledě na to, že postgrey si "spolehlivé" servery pamatuje a vytváří si pro ně dynamický whitelist, takže po čase provozu tento problém odpadá.

Osobně považuji to, že mail přijde z nějakého serveru a pokud se doručení nepodaří, tak další pokus se udělá ze serveru jiného, za zhovadilost, bez které by byl svět lepší. On by byl lepší i bez greylistingu a úplně nejlepší by byl bez spamu.

Google.com (a řada dalších) je na whitelistu by default

Jak kde. Já třeba nemám na whitelistu nic. Všechny velké servery (a váš může taky) používají DKIM a e-maily s platným DKIM neposílám na greylist.

Tak jistě, a jak velký by měl být ten subnet? Ne, jediné, co v tomhle případě "funguje", je se IP adresou vůbec nezabýva. Čímž ten greylisting tak nějak postrádá smysl. (Krom toho to stejně neřeší to otravné a neovlivnitelné zpoždění mailů.)

A s těmi blacklisty to myslím smrtelně vážně.

Hmmm. No, tak snad radši bez dalšího komentáře.

Z rukávu bych mohl vysypat tři dost drsné historky o Spamhaus a velmi velmi to hraničilo s vydíráním mafií.

Jeden případ nakonec skončil platbou výpalného.

Ta banda sviní může v klidu položit fungující firmu... a jejich rozhodnutí není soudně přezkoumatelné, protože oni přece nic neblokují, jen spravují jakýsi veřejný seznam.

Každého admina, který tohle používá, to příště může zničit a neudělá nic.

Tuxík: No možná, až budete jednou managementu odpovídat na nepříjemnou otázku "Co konkrétně jste udělal pro to, abyste minimalizoval riziko před napadením naší sítě ransomwarem XYZ?" a souběžně budete ze zálohy obnovovat několik TB dat, protože ta ostrá budou zašifrovaná, změníte názor.

Stejně tak, jako v reálném životě mám možnost se rozhodnout, s kým komunikovat chci a s kým ne, má i majitel firmy možnost určit, jak a s kým chce komunikovat. Pokud firma není zrovna poskytovatelem e-mailových služeb, kdy je potřeba přijímat maximum příchozích mailů logická, nevidím důvod, proč by měla být povinna přijmout vše, co se kdokoliv v Internetu pokusí doručit na SMTP porty a bránit se napadení jen analýzou obsahu. Já jsem řešil několik WannaCry e-mailů, které byly evidentně cílené, adresa odesílatele korespondovala s adresou příjemce (tzn. ti lidé se opravdu znali a obchodovali spolu) a obsah byl naprosto korektní, v češtině, gramaticky správný a smysluplný. Jen díky tomu, že se vyskytly v jednotkách případů, se podařilo včas zabránit obrovskému průseru a nedozírným finančním ztrátám, o ztrátě pověsti firmy nemluvě.

Nikdy jsem netvrdil, že používání blacklistů je nějaká selanka a nemá žádné nevýhody. Ostatně i my jsme se kdysi dávno na blacklistu ocitli (oprávněně, zavirované počítače posílaly spam). Nicméně filtrování pošty neslouží jen k nalezení relativně neškodného spamu s nabídkami čehokoliv, ale i před útoky daleko nebezpečnějšími.

Klidně si ze svého serveru openrelay udělejte, když máte čas a chuť hasit následný požár, který tím založíte, u nás je ale firemní politika nastavena jinak, ať se to někomu líbí nebo ne.

Já pořád mluvím o koze a vy o voze. Tak tedy znovu: Každý má právo dělat to tak, jak chce, nebo jak mu velí firemní politika. My jsme blacklisty řešili několikrát a nikdy to nebylo tak, jak popisujete. Bylo to "Odstranili jsme problém, delistujte nás prosím". A za 30 minut to bylo ok. Ano, věřím, že pokud se někdo na BL dostane opakovaně a v krátké době, může to být problém, ale to je obecně známá věc a provozovatelé BL na to jasně upozorňují. Z téhle diskuze vyplývá, že je tady skupina lidí, která měla s delistingem problémy a druhá, která tvrdí, že to bylo snadné. Připadá mi to tak 50:50. Osobně tedy nevím, co si z toho mám vzít, a tak se přikloním k variantě, se kterou mám osobní zkušenost.

Dále: to, že uživatelé kliknou na kde co víme a je to stará známá věc. To není třeba opakovat. Nicméně, poukazoval jsem na to, že pouhou kontrolou obsahu může nebezpečný mail projít velmi snadno, pokud je útok sofistikovaný nebo dokonce cílený. Pak může blacklist pomoci. Zatímco kontrola obsahu v takovém případě selže, naopak u mailu s textem "Tohle je super, klikni zde" bude s velkou pravděpodobností při analýze obsahu spam odhalen a správně označen.

Nakonec: Všichni dobře víme, že kvantita u spamu obecně hraje obrovskou roli. Prostě čím více toho je, tím větší je úspěšnost. Pro mne osobně z toho plyne, že rizika musím řešit podle pravděpodobnosti jejich výskytu. Malware doručený e-mailem je na jasném vrcholu a proto ho musím řešit jako první, snažit se tato rizika minimalizovat. Naše zkušenost říká, že tvrdé blacklistování má své místo a v první vlně dokáže vytřídit zásadní množství potenciálního bordelu. A opět dle našich zkušeností - s pro nás minimálními negativními dopady.

Nakonec po několikáté zopakuji: každý si to může dělat, jak chce. Záleží na typu využití, na firemní politice, na osobních preferencích uživatelů... pokud je mail odmítnut, vrátí se odesílateli i se zdůvodněním, proč nebyl přijat a odesílatel má možnost to řešit. Nevidím na tom nic nekorektního. Když vám pošta doručí balík, který jste si neobjednal a nevíte, od koho je, tak si asi taky rozmyslíte, jestli ho převezmete nebo ne.
A to, jak řešit rizika přicházející jinými kanály, do téhle diskuze nepatří.

Pri greylistingu mám na firewall-e nastavené IP adresy yahoo, gmail, hotmail .... podľa ich SPF záznamu, takže maily od týchto serverov mi dorazia pomimo graylistingu.
Používam ale OpenBSD + spamd + PF, takže riešenie "out of the box".

spousta služeb s ním má problém

Tak typicky tě uživatel vysloveně za greylisting pochválí, když se registruje na nějakém webu, případně si chce resetovat někde heslo. Ten PHPMailer samozřejmě nic znova za 15 minut posílat nebude.

Server, o kterém mluvím, patří velké mediální firmě a obchod je její hlavní náplní. Problémy jsou naprosto zanedbatelné a přínos obrovský. Je pravda, že greylisting dnes nemá takový význam, jako měl dříve, že se změnila situace jak na straně rozesílatelů spamu, tak korektních poskytovatelů e-mailových služeb (farmy). Pořád má ale velký význam, stačí projít logy. Ano, ten objem spamu, odfiltrovaný greylistingem už dávno není 97%, ale pořád to jsou desítky procent, což je při objemu, o kterém mluvím, stále nezanedbatelný objem, a proto ho stále necháváme v provozu - jako jeden z kroků AS kontroly. S problematickými stránkami whitelistingu souhlasím, jeho úpravu jsem aplikoval pouze pro rozsahy Office365 - a to ne proto, že by byl problém s maily od klientů, ale proto, že firma postupně na Office 365 migruje (manažerské rozhodnutí opustit řešení od IBM) a vzhledem k tomu, že se jedná o desítky poboček po celé ČR s vlastními interními mailservery, bylo potřeba vzhledem k postupnému přes rok trvajícímu přesunu zkrátit dobu u doručování mailů mezi zaměstnanci firmy.
O blacklistech by se dalo mluvit dlouho. Všichni víme, že se na ně občas dostane někdo neprávem, někdo naopak nedostane vůbec. Ale opět - beru je jako jeden z kroků kontroly a dle názoru mého a mých kolegů je jejich rozumné použití stále přínosem. SPF používáme, bylo by krásné, kdyby to stačilo, ale to bude trvat ještě řadu let, než bude možné se podle něj opravdu rozhodovat. Díky tlaku Google se situace značně zlepšila, ale k ideálu má hodně daleko, takže v tuhle chvíli beru při kontrole korektní SPF jen jako plusový bod, nic víc.

Gratuluji ke kvalitě vaší křišťálové koule. Nikdy se nepřestanu podivovat nad tím, kolik lidí ji vlastní, obzvláště v podobných diskuzích. Ani nad tím, jak někteří jedinci musí reagovat za každou cenu, jen aby ukázali svou nadřazenost. Bez toho, aby o konkrétní situaci cokoliv věděli. Proč taky, když ví vše nejlépe. Omlouvám se všem ostatním čtenářům, že jsem tohle vyprovokoval.

Vy si asi vůbec rád čtete (a citujete) jen věty, místo abyste si přečetl celý text a reagoval na obsah místo na jeho z kontextu vytržené části. A jestli touhle metodou usuzujete na něco, co není nijak zřejmé a nevíte o tom vlastně vůbec nic, je to čistě váš problém.

Například vaše tvrzení co máme/nemáme v logu, účelově smíchané s úplně jinou problematikou (vytížení linky). Nebo to vaše údajné mizení mailů v černé díře (nic takového, z čeho by se to dalo vyvozovat, jsem nenapsal a jsou to jen vaše fabulace, které dle vás údajně vyplývají z mých výroků). Nebo že podle vás neřešíme false positives (to bychom jako IT oddělení asi brzy skončili na dlažbě).
Ani jsem nikde nepsal to, kolik spamu odfiltrujeme, to jste si opět vyfabuloval vy z mé (opět) z kontextu vytržené věty o historickém vývoji úspěšnosti greylistingu v OBECNÉ rovině.
To vše jste dokázal bez jediné konkrétní informace o tom o jakou firmu jde, jakou má strukturu a infrastrukturu, jak, kudy a proč tečou data, jak s nimi pracujeme a jak vše monitorujeme a spravujeme.

Jediné, co jsem psal, byla zdůvodnění, proč jednotlivé fáze kontroly (i přes jejich obecně známé problémy) stále používáme. Nikoho jsem z ničeho neobviňoval, jen reagoval na VAŠE obvinění (neřešíte, nevíte, losujete, zahazujete atd).

A i přesto vše jste neustále přesvědčen, že vy jediný máte pravdu a my všichni tady na druhé straně jsme blbci, kteří fungují na principu náhody a vlastně vůbec nevíme, co děláme.

Já jsem jen napsal svůj názor do diskuze jako podnět autorovi seriálu na základě svých letitých zkušeností ze správy mnoha mailserverů a nikomu jsem svůj pohled na věc nevnucoval. Kdo naopak vnucoval mi, že to dělám úplně špatně a lepší je používat služby typu Google Mail, případně raději nic nefiltrovat, jste byl vy a LO, mírný rozdíl mezi vámi byl jen ve formě. A vy jste tomu dal korunu tím, že jste svým demagogickým přístupem celou věc obrátil vzhůru nohama, jako bych tady já vyvolával flame. Jen abyste měl poslední slovo (jak trefně předpověděl "j"). Takže znovu opakuji, že v téhle debatě a na téhle úrovni už nehodlám pokračovat a do budoucna je to pro mne poučení, že konkrétně vás budu zcela ignorovat.

Mějte se fajn.

Ad greylist a M$ ... M$ nema problem s greylistem, M$ ma problem s tim, ze si neumej nastavit DNS. Resil sem to loni zhruba touhle dobou. Znicehoz nic prestaly chodit bez jakykokoli zasahu do konfigurace maily od vsech frikulinu, ktery hostujou prave u M$ ...

Mno a pricina nebyl greylist, ten to maximane lehce multiplikoval. Pricinou bylo to, ze 1/2 toho jejich cmoudu nemela reverz, a ta druha mela picoviny v helo. Takze mail dorazil treba na 50tej pokus, kdyz ho nahodou dorucoval zrovna stroj, kterej to mel nastaveny oboje dobre.

Ne ze by to teda byl problem jen M$ ... oni nektery soudruzi ani netusej, co to DNS je, natoz k cemu to je. Hlavne ze si provozujou vlastni mailserver ... prave tohle (kontrola reverzi a helo) dokaze odstrelit vic bordelu nez greylist. Vychazim totiz z toho, ze pokud nekdo vazne maily dorucovat chce, tak nastaveni obojiho je otazka 10s. Zato drtiva vetsina koncovych stanic pouzivanych spamery trebas reverz nema vubec a kdyz maj, tak se typicky prozmenu neda prelozit zpatky na tu IP.

2jirsak: Standardni spammer druhej pokus neresi, protoze se mu NEVYPLATI to resit. Kdyz zacnu posilat milairdu mailu, tak k tomu potrebuju hromadu MTAcek ... a dost pravdepodobne mi pekne jedno podruhym odpadne, jak to nekdo nekde blokne. Vazne nebudu resit, jestli je uspesnost doruceni 10% nebo 10,1% ...

A to ze ty, tupec obecnej, netusi, ze KAZDEJ stroj na internetu MA MIT reverzni zaznam (zcela bez ohledu na to jestli na nem vubec neco bezi) ... a pokud ten blb kterej neco chce odesilat nema 10s na to aby neco nekde nastavil (cimz se mimo jiny overi, ze k tomu ma pristup, coz mit musi, pokud provozuje "legalni" mta), tak si zkratka sere do vlastniho hnizda a ja nemam zajem snim komunikovat.

Ne jisak, ty narozdil od vetsiny ostatnich tusis leda kulovy a vis naprosty hovno.

RFC ... protoze to taky NEVIS je ... DOPORUCENI. Cely, od zacatku dokonce, od A do Z, od 1, do 10 000 ... A ja se tim doporucenim RIDIM, a ocekavam, ze budou i OSTATNI. Teda krome blbu jako TY, coz me nejak vubec nepali.

MS těžko moh mít reverz, když si ty dementi nastavili na Outlook.com adresy z rozsahu 0/8.

Mám ohledně greylistingu stejný pocit. Nevhodné řešení založené na předpokladu, který se dá odstranit. Nikdy jsem to nepoužíval, tak nevím z vlastní zkušenosti. Ale už prý úspěšnost klesá.

Ty blacklisty bych úplně nezatracoval. Víceméně se to dnes běžně používá. Není to samo-spásné, ale velký množství bordelu to odhází hned na začátku, Těch listů je spousta, ale pro ten hrubej filtr jsem používal akorát spamhaus, nic jinýho.
Např. Virus Bulletin dělá testy AS řešení a od jisté doby do toho zařadili i Spamhaus, viz:
https://www.virusbulletin.com/testing/results/latest/vbspam-email-security
Co si pamatuji tak má pokaždé 0 FP u ZENu.

Na vlastním serveru kde mám zaplé jen logování, tak se spíš stane, že vidím chybu u odesílajícího a legitimní ho serveru v HELO, výjimečně i u PTR. Ale ještě jsem neviděl u sebe chybu u Spamhausu. Ale bohužel už jsem nějakou dobu mimo tuto oblast, tak neznám úplně aktuální čísla.

Jinak pěkný seriál. Celkem se dá pochopit kam to směřuje ve finální instalaci.
Osobně by mě zajímal díl s rozšířením tohoto řešení o kontakty, kalendář, úkoly a podporu ActiveSync pokud jste toto někdy řešil a máte s tím zkušenost.

Já nevím, jestli má vůbec smysl reagovat, protože na většinu otázek byste si měl umět sám odpovědět nebo se pokoušíte mne k něčemu vyprovokovat? Krátce: to, co jsem ke své smůle zjednodušeně označil jako "spammer" je celá skupina zdrojů, které spam mohou rozesílat, např. botnety, u kterých je druhý pokus o doručení velmi nepravděpodobný. A na to ostatní slovíčkaření nemá smysl reagovat.

K logům: nevím, jestli se mě pokoušíte nachytat na švestkách, ale přece sám víte, že když je mail odmítnut už při prvním kontaktu na SMTP, tak je v logu pár řádků kolem helo a pak info o odmítnutí. Pokud je e-mail přijat, je tam vše, všechny testy (AV/AS), informace o doručení/předání dále atd. Pokud řeším nedoručený e-mail, stačí mi info o tom, kdy byl učiněn pokus o doručení a proč byl odmítnut. A s vytížením linky je to naprosto stejné, nebo mi chcete tvrdit, že není rozdíl mezi úvodní textovou komunikací a přijetím celého mailu včetně případných příloh?

Dále se k tomu nehodlám vyjadřovat, protože naprosto zbytečná debata s vámi a kolegou LP rozhodně není tím, čím bych chtěl trávit úterní odpoledne.

Já jsem se vždycky tomu, jak do vás "j" šije jen usmíval, ale pomalu přestávám.

Lež? Co přesně? V logu je vše co potřebuji: kdy, od koho, komu a případně proč nepřijato. Žádný - ani odmítnutý - mail se neztratí. V nejhorším případě (false positive) je odesílatel informován, že ho nebylo možné doručit po dobu několik hodin a nakonec se vrátí jako nedoručitelný.

Náhodné filtrování? Viděl jste někdy třeba IronPort? Nebo aspoň Mailcleaner? Zimbru? Principy AS jsou všude velmi podobné a nevím, jak jinak byste to chtěl dělat, protože prostá analýza obsahu je neefektivní a náročná na zdroje. To, že konkrétně vy si myslíte, že je to tak špatně a raději přijímáte vše ze strachu z false positive je čistě vaše rozhodnutí a já vám ho nehodlám vyvracet, i když si o něm můžu myslet cokoliv. Nemíním ale akceptovat, když mě někdo, koho jsem v životě neviděl a který si své závěry cucá z prstu a na základě DEBATY O ANTISPAMU je přesvědčen o tom, že přesně ví co, proč a jak bychom měli dělat, aby v naší firmě fungovala e-mailová komunikace jak má, označuje za lháře (i když v tom cítím náznak provokace). Nejlepší bude, když mě vaše Kancelář pro uvádění románových příběhů na prvou míru bude pro příště ignorovat.

Osvěta mezi uživateli je věc, kterou jsem po 20 letech praxe a mnoha marných pokusech dávno vzdal.
Je to sice hezká myšlenka, ale funguje jen do určitého množství zaměstnanců a záleží na typu lidí, což se odvíjí od typu pozic, které zastávají. Navíc při určité míře fluktuace (v obchodních firmách obrovská) se ajťák kolikrát ani nestihne s některými lidmi potkat, natož je vzdělávat...

Druhá věc, kterou jsem za ta léta zjistil je, že e-mail je v drtivém počtu případů jen doplněk k telefonické komunikaci, obzvláště v případě, kdy opravdu o něco jde (čti o peníze) a takto to vnímají obě strany. To jen my ajťáci si myslíme, že se dá vše řešit čistě jen pomocí e-mailu :-)

https://www.youtube.com/watch?v=y_pwBQuINSA

2TKL: Ser na to, jirsak ti tu bude vypisovat 150 postu jen proto, aby ten jeho byl posledni a ve finale skoncis tam, kde si zacal.

Jirsak (a nejen on) totiz nechape ani tu nejprimitivnejsi vec ... pokud uz neco nekomu posilam mailem (samo o sobe blba volba) a vazne potrebuju aby to i dostal, tak zvednu telefon a overim si to.

Protoze to, ze mi nekdo neco rejectne je jeste paradni situace, taky to klidne muze jako prijmout a potichu zahodit. Pripadne jeste lip, muze to udelat neco cestou k nemu. Takze ja vidim ze mail byl dorucenej (kamsi, klidne i s potvrzenkou o doruceni) a on vidi, ze nikdy zadnej nedorazil.

Proč? Naopak u botnetů je to velmi jednoduché, jednodušší než u velkých e-mailových řešení. Botnetu nevadí, když se nějaké e-maily ztratí, takže je nepotřebuje mít uložené redundantně. prostě má e-mail na jednom zařízení, zkusí ho odeslat, když se to nepovede a dostane měkkou chybu, za půl hodiny to zkusí znova. Pro vlastníka botnetu je to tak jednoduché a levné, proč by to nevyužil?

Je to tak jednoduché a levné, ale botnety to nedělají, asi protože se k příjemcům chtějí chovat hezky, že?

Když tvrdíte, že se nic neztratí, protože se všechno loguje, a pak z vás vypadne, že se to vlastně ztratí, není to slovíčkaření – je to prostě lež.

Buď je doručen nebo se vrátí jako nedoručený. Kde že se ztratí?

Když tvrdíte, že blokujete spam, a přitom blokujete e-maily víceméně náhodně, není to slovíčkaření, ale dost podstatný rozdíl.

Tak to by mě zajímalo, jakou náhodou má tohle náhodné blokování účinnost přes 95 % a false positive pod 0,1 %?

Já to vím. Takže vím, že není pravda, že se nic neztratí, protože je všechno zalogované. Ztratí, protože v logu máte jenom jméno z EHLO, IP adresu a datum a čas. Ten e-mail tam není, a nedostane se k vám, protože ho pokaždé odmítnete, tudíž se ztratí.

A ještě adresa odesílatele a příjemce. Navíc se nic neztratí, nedoručený e-mail se vrátí odesílateli.

Mimochodem, jaký nástroj pro filtrování spamu používá Filip Jirsák?

Botnety to nedělají, takže ty desítky procent spamu, které diskutujícímu TKL projdou přes graylisting, to nerozesílají botnety, ale Google, který má TKL na whitelistu.

Naprostá většina emailů, které projdou přes greylisting, jsou odeslané z VPS, kde je plnohodnotný MTA. Levné VPS jsou důvod, proč je greylisting méně účinný. Botnety to opravdu nedělají.

Vrátit se nemusí. A i kdyby se vrátil, je ztracený, protože měl dojít adresátovi, a tam není. Když se vydáte na cestu do Brna a po pěti hodinách skončíte v Praze, tak jste se ztratil, a vůbec nezáleží na tom, že jste původně z Prahy vyjel.

Pokud jsem se vrátil, protože jsem nemohl dojet, protože byly např. zavřeny všechny výjezdy z Prahy na východ, tak jsem se opravdu neztratil.

Náhodnou náhodou. Mimochodem, jak jste zjistil těch 0,1 %? Jak zjistíte, že to byl regulérní e-mail, když odmítnete spojení dřív, než vůbec na nějaký e-mail dojde?

Pokusným měřením. Tu dočasnou chybu můžete vrátit klidně až poté, co vám druhá strana předá celý email.

Vy když blokujete odesílatele na základě IP adresy, necháte si poslat ještě MAIL FROM a RCPT TO? TKL to asi nedělá, když šetří linku.

No jo, pan Jirsák zase netuší, o čem se hádá. Takže pane Jirsáku, greylisting funguje tak, že se porovnává triplet (odesílatel, příjemce, IP adresa), případně dublet (odesílatel, příjemce). Zkuste za domácí úkol přijít na to, proč ne jen IP adresa.

Analýzu obsahu, kterou provádí Inbox (GMail). A nezdá se, že by se z toho GMail nějak hroutil. Blokování podle IP adres GMail nepoužívá, maximálně na chvíli pozastaví z nějaké IP adresy příjem e-mailů, pokud z ní chodí větší množství spamu.

Blokování podle IP adres Google používá, a to jak greylisting (posílá 421), tak blacklisting (550). A jestli jste si nevšiml, i Google má poměrně dost false positives.

Podívejme, Office365 používá reputační filtry podle IP adres... Cisco IronPort používá reputační filtry podle IP adres... a když si zkusíte poslat mail na seznam.cz bez reverzního záznamu... můj bože, oni ho odmítnou! A co teprve Google, ten si navíc k tomu všemu dokonce dovoluje označovat maily ze serverů bez korektního SPF a DKIM označit jako nedůveryhodné, ta drzost!
Nevím, jestli byste jim neměl rychle napsat, aby si to opravili, protože vybírají přijaté e-maily na základě losování a navíc vůbec neřeší false positives a zřejmě to vůbec netuší!
Přeji vám hezký slunečný den.

OK, já jsem 550 od Googlu nikdy nikde nezaznamenal. Ale nepoužívá pochybné veřejné blacklisty, na které se zařízení dostane jenom proto, že se někomu nelíbí jeho jméno.

Ne, používá pochybné tajné blacklisty, kam se zařízení dostane z bůhví jakého důvodu, který vám nikdo neřekne, a ze kterého se dostat je i na několik týdnů, pokud se vám to vůbec povede. Naproti tomu odblokování z veřejného blacklistu znamená odstranění uvedeného důvodu, vyplnění jednoho formuláře a deset minut, než se to rozdistribuuje.

Ale hlavně i ty false positives skončí ve schránce uživatele, takže uživatel má možnost si spam probrat, pokud chce.

Pokud ten e-mail odmítne s 421 nebo 550, tak opravdu neskončí.

Odstranění z veřejného blacklistu je někdy nemožné, například proto, že si reverzní záznamy budu pojmenovávat jak já chci, a ne jak se rozhodne nějaký správce blacklistu.

Google odmítá přijímat emaily po IPv6 z adres bez reverzních záznamů. Hodně štěstí, až se s nimi o tom budete bavit.

Nebo proto, že počítač s danou IP adresou byl před 4 roky kompromitován, po té byl nainstalován úplně od základu nový systém, ale správce blacklistu požaduje informaci, jak byl vyřešen původní problém s kompromitací, a nechápe, že instalací jiného čistého systému došlo jednak ke zničení všech stop, jednak je tam teď úplně jiný software, takže ta původní díra tam určitě není.

Tohle se mi tedy ještě nestalo, a to jsem vyřazoval z blacklistu adresy, ze kterých někdo posílal spam před měsícem, protože jsem na VPS dostal stejnou adresou, jako měl někdo předtím. U veřejných blacklistů žádný problém. U Google vám řeknou, že to možná bude fungovat později. A nebo možná ne.

Psal jsem o analýze obsahu, tam false positives skončí ve schránce uživatele ve složce spam. Pokud Google e-mail odmítne s 421, později ho přijme, takže nakonec stejně skončí ve schránce uživatele.

Aha, takže když blacklistuje Google, tak je to v pořádku a pan Jirsák to při odpovědi na otázku, jak filtruje spam, ignoruje, ale když to dělá někdo jiný, tak ztrácí emaily a náhodně blokuje IP adresy. Tak to jo.

Nebo také nepřijme, pokud ho bude odmítat delší dobu.

To je zajímavé, že jednou je odmítání e-mailů z adres bez reverzních záznamů naprosto zásadní věc, kterou musí dělat každý, a podruhé je to chyba.

Že je to chyba, tvrdíte vy, ne já ;-) Já říkám, že Google používá ty samé techniky, které u ostatních kritizujete.

Analýza obsahu není blacklist. Dočasné odmítnutí kódem 421 není blacklist. Blacklist znamená, že máte nějaký seznam, obvykle IP adres, a pokud je někdo na tomhle seznamu, prostě vám nepošle žádný e-mail. Což je diametrálně odlišné od situace, kdy se nějaký e-mail zdrží ve frontě kvůli greylistu, nebo kdy je po analýze obsahu doručen do složky se spamem.

Jenže Google tohle dělá taky. Tedy nejspíš, protože vám neřekne, proč jste dostal 550, akorát vás odkáže na obecný seznam toho, proč můžete být blacklistován.

Navíc v tom obecném seznamu jsou především důvody, které označují skutečný spam – nevím, zda v tom seznamu momentálně je něco třeba o IP adresách.

Je tam to, že musíte mít reverzní záznam pro IPv6, jinak bye 550.

Jinak Google ten požadavek na reverzní záznam má jen u IPv6, ne u IPv4. U IPv6 ten požadavek jakýsi smysl má, protože IPv6 má PE a odesílatel si prakticky může pro každé odeslání zvolit novou IPv6 adresu. Reverzní záznam tedy zajišťuje jakousi identifikaci té odesílající adresy.

Na IPv6 se blokování dělá po /64, takže PE vám nepomůže. Dělá to tak i Google. Digital Ocean kvůli tomu blokuje odesílání e-mailů přes IPv6, protože přidělují /124 a spameři pak zablokovali odesílání i ostatním a ti si stěžovali, že jim to přestalo fungovat.

Reverzní záznam zajišťuje úplně stejnou „jakousi identifikaci odesílající adresy“ i u IPv4.

No, a protože žádný takovýhle příznak neexistuje, používá k tomu Google právě reverzní záznamy.

Ty kontroly reverzů se u IPv4 používají ze stejného důvodu.

Jinak osobně se mi nelíbí ani to vyžadování reverzního záznamu u IPv6, ale v tom případě jde jen o princip. Protože tím dnes reálně nikomu nezabrání doručit e-mail (každý dnes musí umět doručit e-mail i po IPv4). Naproti tomu blokace na základě neexistujícího nebo ošklivého IPv4 reverzu doručování od některých odesílatelů efektivně brání.

Jenže ono to brání doručování. Co myslíte, že se stane, když MTA dostane 550? Už to nezkusí znovu.

On někdo na IPv4/ blokuje /64?

On někdo na IPv6 provozuje servery a domácí stanice ve stejné síti?

Pořád to může znovu zkusit alespoň odesílatel nebo správce.

A co si myslíte, že to udělá? Úplně to samé jako u jakéhokoliv jiného blacklistu. Znovu to ten email zahodí.

Ne, Google nijak neověřuje, že odesílatel naslouchá na portu 25. Nebo na jakémkoliv jiném portu.