Toto je první polovina rozhovoru s Michalem Feixem. Určitě si přečtěte také druhou část.
Kdo je Michal Feix
Ing. Michal Feix, 28 let, absolvent střední průmyslové školy elektrotechnické Ječná v Praze a absolvent ČVUT FEL v Praze, obor počítačové systémy. Od začátků středoškolských studií působil střídavě jako system administrátor a programátor u malých pražských ISP a postupně u tří největších českých internetových portálů. Do Seznamu nastupoval jako linux administrátor a ve firmě pracuje čtvrtým rokem.
Oddělení IT operations
Nedávno jste se stal vedoucím nového oddělení. Jak se přesně to oddělení jmenuje?
Je to přesně tak, nové oddělení se jmenuje IT operations a je to oddělení, které zaštiťuje veškerý technický provoz, který v Seznamu najdete. Jsou to linuxoví administrátoři odpovědní za provoz služeb na serverech, je to provoz v kanceláři, kde je také nemalé množství informačních systémů, které je třeba držet při životě a pak je to také nějaké pozadí, které je z hlediska uživatele vidět nejméně, a to je především zázemí serveroven. To jsou ti z pohledu uživatelů „neviditelní„ lidé, kteří jsou schovaní mezi servery a vyměňují vadné procesory a disky, když někde něco odejde. Jsou to tedy tyto tři kategorie administrátorů.
Původně bylo ale toto oddělení spojeno s vývojem a teď došlo k rozdělení na dvě samostatné části. Jaký byl vlastně hlavní důvod tohoto rozdělení?
My jsme nebyli úplně spojeni s vývojáři, existovaly tu dvě provozní skupiny: jedné se říkalo techsupport a tou druhou byli system administrátoři. Do system administrátorů patří lidé, kteří se hlásí pomocí SSH na servery a spravují služby, ale počítali se tam i system operátoři, kteří sedí v serverovnách a řeší problémy s hardwarem. Teď se vlastně týmy techsupportu, system administrátorů a system operátorů přeorganizovaly do jednoho velkého oddělení, které je pojmenováno po vzoru velkých společností – IT operations.
Takže to nebylo tím, že se jedno oddělení příliš rozrostlo a vy byste ho rozdělili? Došlo k tomu z důvodu velikosti nebo zjednodušení správy?
Je to spíš o konsolidaci stavu, který tady evolučně vyrostl tak, že už se dnes nejedná o malý techsupport a malou administrátorskou skupinu, ale jedná se o týmy, které se starají o fulltext, o e-mail a bylo třeba vytvořit novou organizační strukturu, kterou je třeba nějak efektivně řídit.
Protože jste větší, než jste bývali?
Jsme větší. Každý rok je to v podstatě „krát dva“.
Kolik lidí vlastně pracuje v celém týmu?
Celé IT operations oddělení dnes čítá přibližně třicet až pětatřicet lidí. Největší část z týmu tvoří system administrátoři, tedy ti, kteří se starají o služby, o Linux na serverech, o disková pole, o konfiguraci, nasazování služeb a provozní problémy. O něco menší skupina system operátorů pak řeší problémy přímo v serverovnách a pak je tu třetí nejmenší skupina, což je techsupport. Ten funguje jak tady v Praze na Radlické, tak i v republikových pobočkách. To jsou lidé, kteří zaštiťují technickou podporu zaměstnanců a fungování vnitřních informačních systémů, které jsou potřeba pro běh firmy.
Serverová řešení
Zmínil jste, že se administrátoři starají o Linux, což nás přivádí k hlavní otázce: jaké linuxové distribuce používáte?
Seznam je v podstatě dnes čistě debianí, ale nebývalo tomu vždycky tak. Dříve tu byla i nějaká BSDčka, dělaly se různé pokusy, ale dneska je to vlastně „Debian only“. Výjimka ale potvrzuje pravidlo, a tou výjimkou je u nás Solaris. Asi před tři čtvrtě rokem jsme v rámci větších inovací na e-mailu, kde jsme potřebovali zareagovat na to, že nám na diskovém úložišti ubývá 1 TB místa denně, potřebovali najít nějakou technologii, která by byla škálovatelná a připravená na takto obrovský nárůst kapacity. Našli jsme řešení, které máme od Sunu a běží na Solarisu.
Čili jde o disková pole?
Jsou to v podstatě disková pole se serverem. Používáme boxy Sun 4500, což jsou krabice s padesáti disky, s vlastním procesorem a je na tom nainstalován Solaris. Chová se to jako diskové pole a server v jednom.
Kvůli zmíněné škálovatelnosti používáte ZFS?
Ano, běží tam ZFS, což je jedna z těch zásadních vlastností, které jsme zvažovali, když jsme vybírali další cestu pro naše disková pole. Problémy s XFS, které jsme pozorovali na předchozích generacích našeho systému, byly už tak neúnosné a provozně nás tak vytěžovaly, že bylo třeba učinit nějaký razantní krok. ZFS se po půl roce ukazuje jako dobrá volba.
Mluvil jste o hardware a diskových polích? Co zbytek serverů? Kolik jich přibližně máte?
Dnes máme celkem 600 až 700 serverů, jejich počet se mění každým dnem. V současné době jsme na vrcholu. Z toho důvodu nás velmi oslovilo téma konsolidace, už protože kromě serverů musíme nakupovat i nějaké další služby, elektřinu, housing a dále. Ty částky jsou pro nás tak zajímavé, že se vyplatí zvažovat, jestli máme mít serverů 600 nebo si najdeme nějaké lepší řešení, které zastoupí třeba výkonnostně dva dnešní servery.
Máte představu, jakou mají vaše serverovny spotřebu?
Mám představu. V podstatě se to rovná asi tisícovce běžných domácností. Je to přes 200 kilowattů.
Preferujete u serverů vlastní skládačky nebo nakupujete enterprise řešení?
Veškerou podporu se snažíme outsourcovat, kupujeme jen značkové železo od různých výrobců. Snažíme se vyvarovat takových chyb, které už jsme několikrát udělali. To znamená, že jsme si našli hardwarové řešení, které bylo velmi dobré, ale dělal ho jen jediný výrobce a v případě problémů pak najednou není kam utéct, protože řešení je stavěno na míru jen jednomu dodavateli. Snažíme se tedy dodavatele míchat a stavět vše na technologiích, které má každý. To ale samozřejmě znemožňuje jít cestou maximální konsolidace. Ceníme si řešení, kdy máme kvalitní podporu, která znamená čtyř až osmi hodinovou reakční dobu pro dodavatele, který přijede, vymění vadný hardware a server běží dál. Na tom hodně stavíme, protože jinak by se nám náklady na správu, kterou by museli řešit naši system operátoři, výrazně zvedly.
Dostupnost a výpadky
Zmínil jste se o rychlé reakční době, ta je samozřejmě nutná k zajištění maximální dostupnosti. Jak řešíte co nejvyšší dostupnost a jste vlastně schopni dosáhnout 100% dostupnosti?
Snažíme se dosáhnout 99,9% dostupnosti, sto procent je ideál, ale není to něco, na co bychom se snažili dosáhnout, to je pro nás naprosto nereálné. Těch prostředků je několik. Seznam dnes disponuje dvěma samostatnými lokalitami, které budujeme tak, aby byly opravdu plně soběstačné. Každou službu, kterou dnes provozujeme, tak skutečně provozujeme ve dvojnásobné kapacitě, než kterou ta služba ve smyslu návštěvnosti vyžaduje. To pochopitelně stojí nemalé peníze, ale prostě se to vyplatí a dostupnost 99,9 % je jiným způsobem nedosažitelná.
Pak jsou tu problémy s hardwarem, se kterými se musí počítat. Není to výjimka, ale pravidlo, hardware se prostě rozbíjí a musíme tedy mít hardwaru obrovský přebytek, abychom s případnými problémy mohli kalkulovat. Nasazovací akce například kolem e-mailu nebo hledání jsou natolik složité, že bychom to bez druhé lokality ani nemohli zvládnout. V takových situacích skutečně musíme celou lokalitu odstavit, provést masivní úpravy a během celé té doby se spolehnout na to, že to poběží na druhé lokalitě. Pak vše prohodíme a aktualizujeme druhou půlku. To je cesta, kterou můžeme na drtivé většině služeb dosáhnout 99,9 % dostupnosti.
Co děláte, když už k výpadku dojde? Jak řešíte zálohy takového množství dat?
Máme koupené řešení, neprovozujeme tady nic vytvořeného „na koleně“. Zálohujeme na pásky, máme enterprise zálohovací knihovnu, která je jak v první, tak i na druhé lokalitě. Jediné, co se snad dá nazvat zálohováním „na koleně“, je zálohování dat, která se už z principu v našem prostředí vyskytují vícekrát. Typickým příkladem jsou například mapy. Podklady na mapách se nedají vydávat z jednoho serveru, který by nedodal potřebný výkon, takže máme stejně šest serverů v každé lokalitě a data jsou na nich tedy dvanáctkrát. Ale protože nikdy nemůžeme vyloučit náhodu, tak pro jistotu jeden z těch serverů také zálohujeme. Aby nás zálohování nestálo ohromné peníze na licencích, máme vytvořený i vlastní zálohovací systém, který je možná překvapivě postavený na Subversion. Říkáme tomu SVN backup a zálohujeme tím data, u kterých netrváme na enterprise řešení.
Jak provádíte validaci těch záloh? Máte vyvinuté konkrétní procesy pro kontrolu záloh?
Procesy kontroly máme. Rozhodně však nenutíme naše administrátory každý den kontrolovat vše, co je na páskách a ověřovat správnost záloh. Abychom ale zajistili, že máme vše v pořádku, tak provádíme například pravidelné restarty serverů po 200 dnech, aby administrátoři měli jistotu toho, že po všech prováděných úpravách je schopen server stále korektně naběhnout. Takových procesů máme nastavených několik, mezi ně patří i kontrola zálohování v nějakém delším časovém horizontu. Jednou za čas se to prostě vyzkoušet musí.
I přes všechna tato opatření se vám ale několikrát stalo, že došlo k masivnějšímu výpadku. Vloni například vypadla část e-mailů a někteří uživatelé dokonce přišli o svá data. Jaká chyba se musí vyskytnout, aby došlo k takovému průšvihu?
Musí se sejít několik problémů najednou. Některým se dá samozřejmě předejít, ale jiné jsou koncepční a jsou odstranitelné až tím plně duálním provozem, který funguje až dnes. Jedním z hlavních rizik je, že máte data v online režimu „jen jednou“. To je velký problém. Jakákoliv chyba pak může znamenat, že data nejsou uživateli k dispozici a pak už je to jen otázkou toho, zda ta chybějící data dokážete rychle dopočítat nebo jste o ně definitivně přišli, protože zestárnou a jsou už nepoužitelná. Záloha e-mailu pro nás znamená zálohu stovek terabajtů dat a pokud chceme, aby byla tato data online k dispozici, musíme nutně mít skutečně vše online dvakrát a musíme být schopni mezi oběma lokalitami transparentně přepínat. To máme dnes.
Dřívější stav na e-mailu, na který narážíte, byla asi před tři čtvrtě rokem a ten fungoval tak, že zálohy existovaly jen v offline podobě. V takové situaci vzniká samozřejmě prodleva, než se stihnou uložit všechna data. Zazálohovat 600 nebo 700 TB dat na této planetě nikdo nedokáže v krátkém čase. Veškerá řešení, která jsme poptávali, abychom tuto situaci vyřešili, vždycky spěla k postavení dvou oddělených serveroven. Jiná cesta, jak zajistit vysokou dostupnost e-mailu, neexistuje.
V dnešní situaci už dokážete zaručit, že stejná situace nemůže nastat?
Jsem schopen zaručit, že nenastane taková situace, jaká nastala před tři čtvrtě rokem. To znamená, že nedojde ke ztrátě dat, která máme v danou chvíli jen jednou. Může se samozřejmě stát spousta jiných věcí, kterým se dá zabránit nebo se nedají ani tušit. A to je smyslem práce celého technického oddělení, aby takovým problémům pokud možno zabránilo.
E-mail a IMAP
Hodně se diskutuje o u vás chybějící podpoře protokolu IMAP. Centrum a Atlas už IMAP provozují dávno, Google jej spustil před tři čtvrtě rokem. Jak jste daleko vy a kdy IMAP bude i u vás? Dostáváte také od uživatelů dotazy tímto směrem?
Mě osobně zaplaťpánbůh žádné takové e-maily nechodí, ale obecně je ta otázka spíše na produktové oddělení. Já samozřejmě nemůžu hovořit za samotnou službu, já se můžu vyjádřit jen k jejímu provozu. Jestli není IMAP v plánech na příští měsíc, o kterých nemusím vůbec vědět, to se vůbec neodvážím konstatovat.
Pan Pečínka nám kdysi do rozhovoru řekl, že je to otázka technického problému, protože pracujete s e-mailem způsobem, který je neslučitelný s IMAPem.
Vždycky je to o technických problémech. Na druhou stranu je to i o produktovém rozhodnutí, zda se ty technické problémy budou či nebudou řešit. Já jsem přesvědčen, že ten problém IMAPu je už nějakou dobu v řešení a je to jen otázkou času než se ty technické problémy vyřeší. Informace od pana Pečínky je poměrně stará a e-mail neprošel jen zmíněným „zduálněním“, ale i spoustou dalších vylepšení. Už nemůžeme říci, že tam nějaký technický problém stále je.
Nevylučujete, že se tedy na IMAPu bude pracovat a že se jej uživatelé nakonec dočkají?
Já nevylučuji, že se na něm dokonce už pracuje.
Seznam a vlastní IM síť
Ke komunikaci se váže další otázka: nezvažuje Seznam integraci nějakého instant messaging řešení? O ICQ už je v České republice rozhodnuto, ale to není jediná volba.
Opět produktová otázka. Zvažujeme. Nechci být konkrétní, ale můžu konkretizovat jedinou věc: máme rádi otevřené technologie a otevřené protokoly.
Jako třeba Jabber?
Jako třeba Jabber.
Pokračování zajímavého rozhovoru si přečtete zítra…
Fotografie: Ivana Dvorská
ČLÁNKY DO MAILU