Pro experimentování s olejem se společnost WEDOS rozhodla přibližně před třemi lety. Za tu dobu vyzkoušeli několik variant a nakonec se rozhodli pro světově unikátní řešení – datacentrum kompletně chlazené olejem. Myslím, že se nám to nakonec vyplatí. Za tři roky se nám na úsporách nové datacentrum zaplatí a za pět let se nám vrátí i investice vložené do všech technologií uvnitř.
Na chlazení je podle Josefa Grilla, zakladatele společnosti, možné ušetřit desítky procent výdajů za energii. V praxi datacentrum investuje asi 19 % nákladů do nákupu elektřiny, takže při dobře zvoleném chlazení jsme schopni ušetřit firmě až 10 % celkových nákladů,
říká Josef Grill.
Olej pro hebké servery
Olej má z provozního hlediska velmi zajímavé parametry: vede teplo až 1200× lépe než vzduch, takže je k chlazení stejné energie potřeba mnohem menšího objemu. To vede k obrovským úsporám,
vysvětluje Grill.
Servery skutečně „plavou“ v oleji – jsou ponořeny ve vaně a kompletně zaplavené včetně disků, pamětí, SSD, napájení a síťových prvků. Už řešíme, jak budeme utápět i optické switche, se vším tím si hrajeme.
Problémem by mohly být disky, které mají obvykle vyrovnávací ventil a olej by do nich mohl proniknout. Zkoušeli jsme je dávat do pytlíků nebo ventily ucpat, ale nakonec jsme skončili u disků s héliovou atmosférou, které jsou uzavřené a olej jim nevadí. S SSD samozřejmě není problém vůbec, ty běžně utápíme, jak jsou,
vysvětluje Grill.
Na olejovém chlazení je podle Grilla nejlepší to, že je velmi jednoduché to vymyslet a navíc je vše velmi snadné na provoz. Většinou jsme od ostatních slyšeli, že to nebude fungovat a nejde to. My hledáme naopak cesty, jak to může jít. Během třech let jsme dospěli k tomu, že to jde.
Technici prý při svých experimentech stále čekali, až se něco pokazí nebo narazí na nepřekonatelnou překážku. Nakonec nic takového nepřišlo a všechny drobné problémy se podařilo velmi snadno a levně překonat. Nevíme o žádné nevýhodě, kromě toho, že máme mastné ruce,
směje se Grill.
Velkou výhodou takového chlazení je, že rovnoměrně odvádí teplo ze všech součástek a nedochází k lokálnímu přehřívání. Očekáváme celkově vyšší životnost, protože na servery se nepráší a netrpí žádnými vibracemi.
Podle Grilla je možné také nakoupit slabší servery a ty přetaktovat, protože je možné výsledek bez problémů uchladit.
Přechod na chlazení olejem přináší velké změny v mnoha dalších částech datacentra, prakticky všechno v něm může být menší a dimenzované na menší výkony. Především ušetříte na celé infrastruktuře, protože vám stačí menší UPS, méně výkonné generátory, slabší přívody a méně příkonu. Všechno pořídíte snáz a levněji.
Nápad utopit servery v oleji nepochází z firmy WEDOS, ale používá se na mnoha místech na světě. Byl jsem se podívat i na instalaci asi 1500 serverů, ale vesměs se jedná spíš o doplněk ke vzduchovému chlazení nebo pokus. Obvykle se pak stejně teplo odvádí do vzduchu.
První prototyp jako legrace
První pokusy proběhly už před třemi lety, kdy technici spíš z legrace ponořili jeden server do malé olejové vany. Nikdo tomu příliš nevěřil, koupili jsme si sud transformátorového oleje a prostě jsme to zkusili.
Server takhle běžel dva a půl roku bez jediného zádrhele. Když jsme ho vyndali, vypadal jako nový, jen se víc leskl jako naleštěný,
říká Grill.
Velmi rychle se ukázalo, že to je zajímavá cesta. Postupně jsme se tomu začali věnovat víc, hledali jsme správný olej, jak řešit kabeláž a propoje, jak si hrát s materiály a podobně.
Zajímavou kapitolou jsou podle Grilla také různé impregnace. Existuje možnost celý server nastříkat impregnační látkou a po vyndání z oleje jej můžete jinou látkou odmastit.
Druhá verze už vážně
Poté vznikla druhá verze, která už byla plně automatizovaná, byla celá v plastu a měla dva redundantní okruhy. Uvnitř leží rack na 18 U, máme dva výměníky a 700 litrů oleje. Používáme čtyři čerpadla, všechno je zdvojené, aby bylo možné to servisovat za provozu.
Toto řešení funguje dobře, servery jsou v něm uložené tři čtvrtě roku a neobjevil se žádný problém. Vše je řízené počítačem a plně automatizované.
Třetí generace do produkce
Současná produkční verze už je z nerezu. Používáme nerez kvůli bezpečnosti jak z hlediska požáru, tak úniku oleje,
popisuje Josef Grill. Díky výměníku umístěnému přímo v olejové vaně se navíc podařilo ušetřit jeden okruh, což znamená další uspořenou energii.
Řešení je připraveno na servery HP Moonshot, do jejichž šasi se zasouvají malé karty se samotnými servery. V jedné vaně pak může být až 45 serverů, 2880 GB RAM, 720 procesorových vláken a 90 TB diskové kapacity. Takový box může dávat až 4500 W tepla.
Do běžného racku se jich vejde devět, což dává přibližně 40 KW odpadního tepla. To nejste schopni klasickým vzduchovým chlazením zvládnout,
říká Grill. My říkáme, že uchladíme cokoliv, co nám HP dodá.
Testování dnes probíhá při teplotě 56 °C, při které vše bez problémů funguje. Pocitově se olej chová jinak než voda. Na dotyk je hodně teplý, ale na rozdíl od takto teplé vody vás to nespálí. Je to prostě jen hodně teplé,
vysvětluje Grill. Olej má poměrně velkou tepelnou setrvačnost, protože je ho ve vaně poměrně hodně a zahřívá se postupně celý objem. Je to tedy jakási přirozená redundance pro případ výpadku okruhu.
Uchladit se podle Grilla dá prakticky cokoliv, záleží jen na rychlosti oběhu chladicího oleje. V jedné takové vaně uchladíme klidně 20 KW tepla. Spíš teď neexistuje žádný server, který by dokázal víc tepla vygenerovat.
Ventilátory musí ven
Josef Grill také upozorňuje na to, že v utopených serverech nesmí být ventilátory. Ony by se v oleji vlastně pořádně netočily a byly by k ničemu. Musíme je proto vyndat před tím, než server ponoříme.
To přináší také nezanedbatelnou úsporu na příkonu samotných ventilátorů. Těch je například ve zmíněných serverech HP šest a dva další na zdroji. Ventilátor má příkon až 28 W a když je server zatížený, tak jednou naplno. Jeden server tak může mít přes 200 W příkonu jen na ventilátorech.
Protože jsou ventilátory zbytečné, není je potřeba ani kupovat. Každý stojí asi 500 Kč, takže na pořizovací ceně serveru ušetříme 4000 Kč.
Firma si nechala od HP dodat i speciální várku zdrojů, které dorazily bez ventilátorů a s upraveným firmwarem.
Hledání správného oleje
Určitým procesem prošel také použitý olej, který musí kromě dobrých provozních vlastností splňovat také například bezpečnostní parametry. Nakonec používáme jeden olej, který má příznivý poměr cena/parametry a k tomu vynikající trvanlivost – až desítky let. Jedná se o olej, který není toxický, což bylo taky hledisko při výběru.
Tento olej se podle Grilla používá například ve farmaceutickém průmyslu. Při jeho výběru byla zvažována hořlavost (a tím bezpečnost), přenos tepla (a tím chladicí výkon), izolační vlastnosti (a tím bezpečnost provozu) a v neposlední řadě i zápach (a tím práci obsluhy) a třeba i barva (a tím zajímavější pro návštěvníky).
Navíc se jedná o olej, který je obecně dobře dostupný u distributorů skladem a cenově příznivý – cena je dle množství v desetikorunách za litr. Byl to vývoj. Včetně studování materiálů a různých podkladů z celého světa.
Teoreticky by mělo být možné použít řepkový nebo olivový olej, které ale nemají příliš dlouhou trvanlivost. Oba bohužel žluknou a tak ztrácejí rychle parametry.
O konkrétní typ oleje se zatím Josef Grill podělit nechce. Přiznám se, že zvažujeme, zda budeme celý náš produkt chránit nebo ne. Rozhodneme to do konce měsíce.
Pak bude pravděpodobně typ oleje zveřejněn – jako součást ochrany nebo naopak pro široké použití.
Nové datacentrum celé v oleji
Firma začala v říjnu loňského roku stavět v Hluboké nad Vltavou další datacentrum, které by mělo být otevřeno letos v listopadu. Bude výjimečné tím, že bude stoprocentně chlazené olejem. Včetně serverů, disků a všech souvisejících technologií. Vše bude plavat v olejové lázni.
Firma přitom vůbec při stavbě nepočítá s tím, že by bylo použito jiné chlazení – vše je připraveno na olej. Původně jsme předpokládali, že budeme chladit hlavně vzduchem a sem tam něco olejem. Postupně jsme se dostali k variantě půl na půl a nakonec jsme všechno přehodnotili a skončili jen u oleje,
říká Grill. Nakonec i motor-generátory budou umístěny uvnitř budovy a budou chlazeny stejným způsobem. Generátory nebudou utopené, ale jejich chladiče budou napojené na stejný okruh a k chlazení budou používat stejný olej.
Z budovy bude vidět jen kancelářská část, celá serverovna bude schovaná ve svahu. Zatím řešíme především legislativní otázky, povolení a podobně. Děláme vše proto, aby nám to vyšlo.
Původní datacentrum je bývalý kryt civilní obrany z roku 1976, nová budova bude mít podobné ražení – celá bude odlita z železobetonu, místy bude mít šířku přes metr.
Celkem bude v serverovně 480 m2 místa pro servery a technologie a dalších 515 m2 pro zázemí a kancelářské prostory. Očekáváme, že dosáhneme PUE 1,03. V současné době máme se vzduchovým chlazením 1,17.
Do nového datacentra se teoreticky vejde až 560 van se servery Moonshot. To bychom tam mohli přestěhovat celou Českou republiku a ještě bychom měli rezervy.
Co je to PUE?
PUE (Power Usage Effectiveness) neboli česky Indikátor energetické efektivity ukazuje, kolik ze spotřebované energie datacentra je využito IT vybavením a kolik zkonzumují podpůrné systémy. Jde jednoduše o poměr těchto dvou hodnot. Ideální PUE by bylo 1,0 a v takové situaci by byla veškerá energie používána pro provoz samotných serverů a síťových prvků. V praxi je ale nutné veškeré zařízení chladit, což přináší další energetické náklady. Obvykle se tedy PUE pohybuje mezi 1,1 až 1,5.
Další zajímavou výhodou je, že odpadní teplo nepůjde do atmosféry, ale bude se využívat k vyhřívání nedalekého koupaliště. Budeme vyhřívat bazén a tím si chladit servery, takže se budeme vzájemně doplňovat. Proto jsme také zvolili lokalitu blízko koupaliště, kde je 1200 kubíků vody na chlazení.
Pořizovací náklady
Celý provoz zajišťují běžná topenářská čerpadla, která jsou velmi spolehlivá, úsporná, velmi levná a dlouhodobě otestovaná. Maže se rovnou z okruhu, takže pokud ho nezavzdušníte, tak se prakticky nemůže zničit.
Proti nákladům na klimatizační jednotky je pořízení takových čerpadel extrémně levné.
Z bezpečnostního hlediska je prý všechno vyřešené, hasiči potvrdili, že je možné mít v budově 120 000 litrů oleje. Technicky jsme si s tím poradili tak, že to nevadí hasičům ani životnímu prostředí.
Kam dál?
Firma by ráda ještě zvýšila využitelnost plochy v datacentru, pravděpodobně tak, že bude možné do regálů uložit tři nebo čtyři vany nad sebe. Dostat se k jednotlivým serverům není problém, protože jsou to vlastně velmi malé karty. Pokud by bylo potřeba vytáhnout celé šasi, použil by se vysokozdvižný vozík. Tím by se server v případě nutnosti z vany vyzvedl, nechal okapat a převezl do servisní místnosti.
Další výzvou je sledování fyzikálně-chemických vlastností oleje a jejich změn v čase. Možná někdy zlákáme někoho, kdo by nám to otestoval a udělal na tom diplomku.
Provozní náklady
Také je tu otázka ochrany know-how, zda má smysl nebo je lepší vše otevřít a uvolnit pro další využití. Asi to spíš otevřeme, ať si to kdokoliv zkopíruje a pomáhá to vylepšovat. Když se k nám někdo přidá, bude jednodušší dohoda s výrobci serverů a komponent.
S výrobci se v současné době dohaduje, jak u serverů v oleji řešit záruky a servis.
Grill varuje, že to není technologie pro každého. Nehodí se do běžného datacentra, které svým zákazníkům pravděpodobně nedovolí instalovat olejovou vanu a manipulovat se stovkami litrů oleje. My ale žádné cizí servery v datacentru mít nebudeme, takže pro nás to dává smysl.
