V Hluboké jsme se nejprve zajeli podívat do současných prostor firmy, abychom viděli, kde WEDOS bydlí dnes. V centru města procházíme malým nenápadným průchodem a u dveří nás vítá Josef Grill, zakladatel a obchodní ředitel společnosti. Kdysi to tu patřilo O2, teď je to celé naše,
vysvětluje nám, když nás vede do prvního patra do kanceláří.
Původně tu měla firma jen pronajatou jednu kancelář. Pak se ale O2 rozhodlo to tu opustit. Když jsme se jich ptali, co bude s námi, řekli: ‚Můžete to celé koupit.‘
směje se Grill. Nakonec to tak dopadlo a firma měla vlastní budovu. Přemýšleli jsme, co s ní dál. Vedly tu optiky, bylo tu dobré napojení na elektrickou síť, tak jsme se rozhodli tu vybudovat datacentrum.
Čtěte: Utopte servery v oleji, ušetříte a vyhřejete městský bazén
V kancelářích sedí celkem 33 techniků, vývojáři, účetní a ředitel. Je tu i laboratoř se servery a různými síťovými prvky. Tady si různě hrajeme, tohle je třeba server se 100gigovými kartami, testujeme teď s CESNETem ochranu proti DDoS,
vysvětluje Grill a poté nás vede do spodního patra, kde otevírá velké ocelové dveře. Tohle byl původně kryt civilní obrany, tyhle dveře po něm zbyly. Vedle byly ještě jedny stejné, které jsme ale vyměnili.
Druhými dveřmi přicházíme do současného datacentra.
Datacentrum v bývalém krytu
To je tvořeno jedním velkým sálem a několika menšími postranními místnostmi. Původně to tu bylo rozdělené na mnoho malých místností, to jsme také museli předělat. Ale je to částečně pod zemí, chybí tu okna, takže obchod z toho třeba neuděláte. Vlastně se to hodí jen na to datacentrum,
směje se Grill.
Sálu vévodí ulička s racky na samotné servery, vedle ní stojí obří vzduchotechnika. Všechno si tu řešíme sami, řídíme si otáčky větráků podle teploty a chladíme skoro pořád free coolingem. Jen když je opravdu vedro, sepnou klimatizace.
Odpadním teplem ze sálu jsou pak vytápěny kanceláře nahoře. Odhlásili jsme topení i plyn, jiný způsob vytápění tu nemáme.
Ze vzduchotechniky jde chladný vzduch až o teplotě 17 stupňů Celsia. To je nejnižší teplota a jen v době, kdy je venku chladno. Může stoupat až na 27 stupňů a pak už se zapnou klimatizace, aby se servery nepřehřívaly.
Vyšší teplota už podle Grilla serverům nesvědčí. Zkoušeli jsme jet na 30 stupňů, servery sice jedou, ale výrazně se zvýší poruchovost disků. Zatímco při 27 stupních se nic neděje, jakmile stoupnete na 30, začnete měnit několik disků denně.
Vedle nás zaujme několik stohů stejných 1U serverů. To je 254 serverů, které chceme pronajímat jako dedikované za tisícikorunu,
vysvětluje Grill. Není to nový hardware, ale podařilo se ho koupit velmi výhodně. To jsou rok staré servery HP z nějakého evropského projektu, který skončil. Nabídli nám je takhle všechny najednou, tak jsme je vzali. Jsou úplně stejné a je jich přesně 254, takže se nám vejdou do jednoho IP rozsahu,
směje se. Bude pro ně postaveno dalších deset racků.
Poté už přicházíme ke stávajícím serverům, racky jsou nacpané odshora až dolů. Všechny servery se snažíme mít stejné, používáme úsporně procesory Intel z řady L a všude používáme SSD. Proto můžeme mít v každé skříni 20 serverů, protože mají spotřebu jen 200 wattů.
Firma se snaží uspořit nejen při výběru serverů, ale spoustu věcí si vyrábí sama. Chlazení je kompletně naše řešení, stejně jako regulace. Tyhle posuvné dveře jsme si taky vyrobili sami z profilů, nemusíme kupovat nějaké předražené komerční řešení,
hrdě vysvětluje Grill.
V samostatném racku pak běží nový velký server HP MoonShot. Uvnitř je schovaných 45 serverů se dvěma switchi, všechno propojené dvakrát 10gigovou sítí a se zdvojeným 40gigovým uplinkem. Tohle pak chceme provozovat v novém datacentru, teď tu vyvíjíme nové služby.
Další stejný server stojí v laboratoři, jeden je ve vedlejší místnosti utopený v oleji. Máme jich celkem šest a objednali jsme další. Chceme je mít redundantní v párech, aby vždycky jeden běžel tady a druhý v nové budově. Kdyby něco vypadlo, služba bude fungovat dál.
Olej zatím čeká na novou budovu
Ve vedlejší místnosti zatím čekají vany plné oleje a serverů, které pak budou přemístěny do nového datacentra. Jedním z utopených je i zmíněný HP MoonShot. Tady jsou celé servery, disková pole, switche i napájecí lišty. Všechno je utopené ve farmaceutickém oleji.
Hlavní výhodou je samozřejmě vyšší efektivita takového chlazení.
Podle Josefa Grilla jsou parametry olejového chlazení tak dobré, že se HP rozhodla upravit Wedosu firmware v MoonShotech. Vzduchem nejste schopni plně obsazený MoonShot v nejvyšší konfiguraci uchladit. Proto do něj těch nejlepších serverů dáte jen 30, víc se vám jich nezapne. My ale chladíme olejem, takže máme upravený firmware, který nám dovolí šasi úplně zaplnit.
Další plány počítají i s tím, že se do oleje utopí i jedna větev UPS. To asi zatím nikdo na světě neudělal. Se servery to zkouší už řada firem, ale celé UPS ještě nikdo nepotápěl. Děláme to kvůli dalším úsporám.
Zatím se první pokusy budou dít jen s jednou větví, druhá bude chlazená vzduchem, samozřejmě bez klimatizace. Stejným olejem pak budou chlazeny i generátory pro záložní napájení.
Staví se i okolo staré budovy, zvyšuje se zeď a přidává dlažba. Zrušili jsme zahrádku, dvorek se přepaží a přijdou na něj dva velké generátory. Letos opravdu stavíme na všech frontách.
Protože obě datacentra budou mít stejnou certifikaci, musí i toto splňovat přísné normy. Budova je napájena ze dvou nezávislých větví, jedno vedení přijde ze severu a půjde pod stropem a druhé z jihu a půjde pod podlahou,
vysvětluje Grill.
Na nové stavbě
Poté přejíždíme asi dva kilometry podél řeky, kde už prakticky stojí nové datacentrum. Mělo se spouštět už v létě, ale start byl odsunut na zimu, protože se dodatečně firma rozhodla získat nejvyšší certifikaci Tier IV. Museli jsme kvůli tomu spoustu věcí předělat, upravit a dostavět. Proto se to zdržuje.
Směrem od silnice to vypadá, že je budova už hotová. Chybí ale ještě například příjezdová cesta, parkoviště a vnitřní vybavení domu včetně schodiště. Začali jsme tím, že jsme se rozhodli mít druhou lokalitu. Kdyby se s původním datacentrem cokoliv stalo, mohli bychom mít zálohu. Pak jsme pořídili tenhle pozemek, kde je trafostanice a je to blízko koupaliště, kam můžeme odvádět teplo,
ukazuje nám Josef Grill staveniště.
Přímo na pozemku je zaokruhovaná trafostanice, do které vede hlavní napájení pro datacentrum. Na stejnou svorkovnici je připojená i vodní elektrárna, která je pár metrů od nás. Kdyby vypadlo běžné napájení ze sítě, budeme brát energii přímo z elektrárny, která je schopna nás plně zásobovat.
Druhá napájecí větev tu ale bohužel chybí. Proto chceme mít vedle trafostanice postavenou třetí řadu diesel agregátorů, které v případě výpadku zajistí zdroj energie pro obě větve v datacentru,
popisuje Grill.
Kolem budovy vede chodník, pod nímž jsou trubky s ohřátou vodou pro nedaleké koupaliště a také tu vede jedna ze dvou optických tras propojujících obě datacentra. Ta první vede okolo kopce a má asi dva kilometry, druhá trasa vede vrchem přes zámek a má asi 1100 metrů.
Firma má v plánu také výrazně posílit síťovou infrastrukturu. Chceme být připojení 100 gigabity do internetu, racky propojit 40 gigabity a jednotlivé servery pak připojit 10 gigabity. Je to dobré hlavně kvůli síťovým útokům, jejichž objem roste.
Nové datové centrum tak bude připojeno třemi optickými trasami v násobcích stovek gigabitů – jednou přímo k poskytovateli, dvěma do stávajícího datacentra, které má svou vlastní internetovou přípojku.
Teplem z datacentra se bude ohřívat voda ve veřejném koupališti, pro obě strany je to velmi výhodné. Nebudou nám za to platit, pro nás je to stejně odpadní teplo, oni budou zase rádi za přísun energie. Možná nám za to dají nějaké vstupenky zdarma,
směje se Grill.
V betonovém bunkru
Olej prý pro auditory nepředstavuje žádný problém. Těm je to úplně jedno. Pro ně je důležitější, že máme všechno redundantní.
Energie je potřeba odvádět poměrně hodně, současný příkon původního datacentra je přes 100 kW, připraveno je ale 240 kW v samotných IT technologiích plus je potřeba připočíst chlazení a napájení zázemí. Celkem tedy stará budova může spotřebovat až 350 kW energie.
Nová budova počítá ještě s podobným příkonem, ale jinak rozloženým: 320 kW v IT plus 30 kW zázemí. To je dohromady zase 350 kW, ale výrazně více zbývá na napájení serverů. Protože ve staré budově chladíme vzduchem a musíme mít velkou rezervu na klimatizaci. Tady počítáme na chlazení s maximálně 20 kW.
Chlazení olejem prý spotřebuje jen do 2 % energie potřebné na samotné napájení serverů. Navíc ještě vyndáváme větráky, takže dále snížíme spotřebu serverů.
Během vyprávění nás Josef Grill vede dovnitř budovy, kde se nachází kancelářské prostory i malý sál pro pořádání menších akcí. Bude to tu trvale připravené na živé vysílání videa, takže tu budeme moci dělat různá setkání nebo malé konference.
Postupně procházíme do zadní části budovy, která je vlastně ukryta pod zemí za kancelářskou částí. Jsou to vlastně dvě propojené budovy, ta zadní je úplně jiná.
Přicházíme k velkým trezorovým dveřím, jedny jsou velké dvojkřídlé, ty druhé menší. Jsou české výroby a váží tunu, jak hlásí štítek. Tohle je jediný vstup do technologické části. Protože musíme mít všechno zdvojené, musí být i dvojí dveře,
vysvětluje Grill a dodává, že celá budova je odlitá z betonu a nemá žádný další vstup. Kdyby se s hlavními dveřmi něco stalo, zůstali bychom uvěznění uvnitř. Proto jsou tu vedle ještě jedny nouzové. Tím betonem se jen tak neprotlučete.
Dveře budou elektricky ovládané a vstup bude muset potvrdit obsluha z druhé lokality. Kromě toho bude muset mít příchozí ještě vstupní kartu a vstup bude chráněn čtečkou krevního řečiště.
Vcházíme do hlavního prostoru, kde budou umístěny servery. Vany jsou relativně nízké, takže je dáme na skladové regály a vejdou se nám sem tři nad sebe.
Nad stropem i pod podlahou bude zdvojené napájení i chlazení, vše se potká až vlastně v jednotlivých serverech. Zdi nebudou nijak dále upravovány, nebudou tu omítky ani obklady, v technické části zůstane holý beton. Jen na podlaze a dole na zdi bude krycí nátěr, který zabrání vsakování oleje. Kdyby nám tu něco vyteklo, abychom to mohli jednoduše uklidit.
Kromě hlavního prostoru je tu i několik menších místností určených pro generátory, UPS a výměníky chlazení. Vše bude stavebně oddělené, aby se vedení nesetkávala a byla redundantní. Vzadu bude ještě malá dílnička, kdyby bylo potřeba něco upravit nebo připravit.
Vše bude protipožárně oddělené – podlaha, prostor pro servery a podhled. Vše s odolností na 90 minut, což vyžaduje certifikace. Vše musí být zdvojené, nikde se nesmí nic potkávat a nikde se nesmí nic křížit a vše musí být kompletně požárně oddělené.
Jako protipožární prevence tu bude snížený obsah kyslíku. Bude tu kolem 30 stupňů a jen 15 % kyslíku. Takže to bude jako na nějaké šestitisícovce,
směje se Grill. Bude se tu tedy hůře dýchat a ještě tu bude vedro. Počítá se tedy s tím, že při delších zásazích se bude muset větrat. Na kratší vstupy to vadit nebude, ale počítáme s tím, že tu rozmístíme dýchací přístroje.
Odcházíme, ale nejsme tu naposled
Budovu opouštíme seskočením z nakládací rampy na místo, kde bude později parkoviště. Na poslední chvíli jsme ještě vymysleli další vylepšení – pod parkovištěm budou rozvody teplé vody. Přece tu nebudeme v zimě odhazovat sníh, když máme tolik odpadního tepla,
směje se Grill.
Ptáme se na to, jak je celý tenhle velký projekt financovaný. Jen z našich peněz, nemáme ani korunu úvěru. Původně jsme chtěli žádat o dotaci, ale nakonec jsme žádost stáhli. Je to příliš svazující.
Vlastní zdroje nakonec ale nemusí stačit, záleží na tom, jak bude nakonec budova vybavena. Teď jsme ve fázi, kdy uvažujeme, zda postavíme jen část vybavení a postupně budeme navyšovat kapacitu nebo koupíme všechno najednou. To bychom ale museli třeba generátory koupit na úvěr,
dodává Grill, když nás vede k autu.
Exkurze na staveniště byla zajímavá a nejsme tu naposled. Máme v plánu se sem vrátit v zimě, až bude datacentrum plně v provozu, abychom vám ukázali, jak se topí servery v oleji ve velkém.
ČLÁNKY DO MAILU