Seznam.cz před časem otevřel vlastní datové centrum Kokura. Začalo to v roce 2012, kdy jsme se začali zabývat možností stavby vlastního datového centra,
řekl nám Vlastimil Pečínka, technický ředitel Seznam.cz. Na začátku celého projektu byl indikativní návrh jedné společnosti, která nabízela možnost přestavět starou budovu na datové centrum za 50 milionů korun. Šlo spíše o jeden datový sál než o celé datacentrum. Jeho kapacita měla být přibližně 90 racků, což se nám za tu částku zdálo neuvěřitelně drahé.
Návrh zahodili a začali si vymýšlet, jaké datové centrum by rádi postavili na zelené louce.
Firma předem věděla, že nechce datacentrum pronajímat, ale chce jej používat pro vlastní potřeby. Nechceme z toho mít byznys, chceme jen datacentrum pro sebe a své servery.
Od začátku tedy nebyl problém se sdílením všech informací a know-how se zbytkem IT komunity. Začaly tedy různé schůzky, prohlídky a vymýšlení konkrétních řešení. Paralelně jsme začali navštěvovat přednášky a konference, které se danému tématu věnovaly.
Společnost kontaktovala firmy Altron a Pronix a od nich na základě vlastních požadavků získala dvě nezávislé studie proveditelnosti. Chtěli jsme vědět, co je v českých podmínkách možné. Ukázalo se, že obě studie jsou si velmi podobné.
Požadavky byly stanoveny na 2400 serverů pro 50 samostatných služeb. Věděli jsme, že se nám to vyplatí, protože PUE nám vyšlo na 1,2. Běžná hodnota tehdy byla přes 1,5.
Návratnost investice měla být zhruba 6 až 8 let, přičemž provozně měla firma šetřit už od druhého roku. Vypadly z toho vizualizace, indikativní rozpočet (CAPEX) i odhad operativních nákladů (OPEX), energetická bilance, apod.
Co je to PUE?
PUE (Power Usage Effectiveness) neboli česky Indikátor energetické efektivity ukazuje, kolik ze spotřebované energie datacentra je využito IT vybavením a kolik zkonzumují podpůrné systémy. Jde jednoduše o poměr těchto dvou hodnot. Ideální PUE by bylo 1,0 a v takové situaci by byla veškerá energie používána pro provoz samotných serverů a síťových prvků. V praxi je ale nutné veškeré zařízení chladit, což přináší další energetické náklady. Obvykle se tedy PUE pohybuje mezi 1,1 až 1,5.
Zároveň bylo potřeba řešit, kde bude vlastně datacentrum stát. Ve finále jsme měli tři kandidáty a rozhodli se pro VGP Park, který vypadal nejpřipraveněji – existující územní rozhodnutí a dokonce stavební povolení na celý areál. Přesto ještě cca rok trvalo, než se veškeré „papírování“ dotáhlo do konce.
Největší průtahy způsobovala státní správa. Nepřekvapuje mě, že třeba Amazon zastaví plány na stavby v Česku, protože to je neskutečné martyrium.
Nejvíce problémů způsobovaly lhůty, které byly dále protahovány různým doplňováním informací a podobně. Celá stavba pak běžela velmi rychle a trvala přibližně tři čtvrtě roku.
Základní kámen v době poklepání. Dnes se nachází ve vchodu do budovy.
Počítáno bylo s tím, že v horizontu deseti let investice dosáhne 200 milionů korun ve čtyřech etapách. Nejprve jsme chtěli spustit jeden sál, později ho rozšiřovat, pak se přesunout do dalšího sálu a tak dále.
Podle Pečínky se ale věci hýbou výrazně rychleji a už teď je celý první sál kompletně připraven a prakticky zaplněn. Během příštího roku bude zprovozněn celý druhý sál a už to nebudeme komplikovat etapami.
Reálně tak bude většina peněz proinvestována už v příštím roce a po zprovoznění druhého sálu nejsou další velké investice v plánu.
Stavba samotná trvala jen devět měsíců: základní kámen byl položen 7. května 2014, úřední kolaudace proběhla 26. února 2015. Březen byl věnován zátěžovým testům a ladění technologie, od dubna do poloviny května proběhlo stěhování IT techniky z TTC.
Celkem během stěhování jelo 77 plných aut (dodávek), přestěhovalo se 2224 U serverů, což je přibližně 45 tun železa. Průměrný náklad auta byl 580 kg a dva lidé. Největší obavy jsme měli z úmrtností disků. Po převozu serverů to vypadalo, že několik desítek serverů odešlo. Nakonec většina problémů souvisela s konfigurací. Poškozeného hardware bylo méně než pět procent.
Další problém vyplýval z toho, že některé služby běžely při stěhování v omezeném režimu. Zároveň jsme měnili IP adresy, což je vždy velmi riskantní akce, ale nakonec to vyšlo bez problémů.
Čtěte dále: Seznam.cz pohání sedm tisíc serverů s Debianem
Dnes je v prvním sále k dispozici 96 racků a elektřina je dimenzovaná tak, aby každý rack dostal v průměru 5 kW. Více potřebuje například Hadoop cluster, naopak zálohování na pásky moc elektřiny nepotřebuje.
Zajímavé jsou i reálné energetické statistiky z provozu: V tuto chvíli je celkový odběr datacentra 339 kW a aktuální PUE je 1,17. Nejvyšší okamžité zjištěné PUE bylo 1,3, nejnižší 1,12. V průměru za rok jistě navržené hodnoty 1,2 dosáhneme.
Okamžitá hodnota energetické efektivity samozřejmě osciluje, takže je potřeba se spíše dívat na dlouhodobý průměr v období několika měsíců nebo lépe let.
Takových kamionů přijelo na stavbu mnoho, zde část technologie chlazení.
Hlavním důvodem vysoké efektivity je systém chlazení, který do určité teploty nevyžaduje aktivní chlazení. Jako velmi výhodný se ukázal princip zakrytých teplých uliček. Pomáhá nám fyzika, takže se teplý vzduch do jisté míry odvádí sám a ušetříme na větrácích.
Zároveň Seznam nedělá datacentrum pro jiné společnosti, takže může pravidelně obnovovat hardware, který zvládá vyšší teploty. Není pak potřeba chladit na příliš nízkou teplotu.
Datacentrum si už po dvou měsících chodu vyzkoušelo plný běh na diesel, protože vyhořela 22kV pojistka. Běželi jsme šest hodin na agregáty. V červnu jsme posilovali napájení, takže jsme si to vyzkoušeli ještě jednou. Ustáli jsme to bez blackoutu.
V červnu dosáhla spotřeba 260 MWh za celé datacentrum, se špičkou 439 kW. V horkém červenci stoupla spotřeba na 309 MWh a PUE oscilovalo mezi 1,3 a 1,5.
Nákladově se stavba vešla do původní představy. V rámci tendrů jsme snížili výrazně ceny za dodávky, takže jsme měli prostor datacentrum dále vylepšovat.
Zároveň byla podceněna etapizace, protože se firma rozhodla hned spustit celý sál a příští rok už pravděpodobně poběží druhý sál. Etapizace se lépe obhajuje, ale zbytečně komplikuje praxi.
Kokura již v provozu.
Ukázalo se tedy, že stavět ve vlastní režii má velký smysl z nákladového, ale i technického hlediska. Technici si totiž mohou navrhnout své datacentrum tak, jak jim vyhovuje. Kokuru jsme stavěli pro sebe a určitě nechceme vstoupit na trh kolokačních služeb a pronajímat racky nebo servery. Je možné, že svým partnerům, kteří provozují některé služby pod naším brandem, umožníme virtuální hosting.
Kokura není logisticky (bezpečnost, zázemí) a koncepčně (firma si hlídá, jaký HW jde na sál) připraveno pro umisťování technologií jiných zákazníků. To ale ani nebylo cílem.
ČLÁNKY DO MAILU