V čem jsou/byly největší překážky ve spuštění olejového chlazení?
Pokud pomineme administrativní překážky, čekání na výrobu, tak je to čistě o lidech a vývoji, který potřebuje svůj čas. Máme spousty projektů a neustále něco vylepšujeme. Pro rychlejší růst bychom potřebovali nabrat další lidi.
Pokud si musíme vše vymyslet, navrhnout, spočítat a některé věci i sami vyrobit, tak to prostě trvá. Něco si necháváme vyrobit, ale zkuste v posledních letech něco domlouvat. Nejprve nikdo neměl čas, potom nikdo nevěděl, co si za to říct a nyní neví, kdy a za kolik na to bude mít materiál. Už jsme však ve stádiu, že máme vše připraveno a pokud pojedou první servery, tak se nebojíme, že 10 800 serverů, na které je druhé datacentrum plánované, třeba budou mít problém.
Vezměte v úvahu, že jsme si nejen celé datacentrum postavili (doslova vlastníma rukama), ale také navrhli a spočítali. Máme k tomu různé optické trasy (tři nezávislé z různých stran budovy do různých lokalit). V druhé datacentrum máme pět motorgenerátorů a každý z nich zvládne provoz celého datacentra na 12 hodin. A tak by šlo pokračovat. Dbali jsme na drobnosti tak, že máme třeba každou větev napájení z komponent od jiných výrobců, aby tam nebyla stejná sériová vada. Tohle chce vidět. Mimochodem se chystáme na potápění UPS, což bude celosvětový unikát.
[Aktualizace 16.09.2022] – Kolegové, kteří mají na starosti vývoj olejového chlazení, o prázdninách úspěšně utopili v oleji UPS o výkonu 30 KW. Vše se připravovalo od roku 2020. Na rozdíl od serverů dokáže UPS zahřát vodu až na 50 stupňů. UPS mají režii 6 až téměř 30 % (podle zátěže) a většina toho se promění na teplo, které musíte z datacentra odstranit (uchladit klimatizací) a k ničemu ho pak nevyužijete. Pokud UPS je v oleji, tak teplo lze využít na vytápění, ohřev vody, prostě cokoliv. Výhodou jsou nízké pořizovací náklady, nízké provozní náklady a vysoká účinnost. Pokud dlouhodobé testování dopadne dobře, tak máme v plánu utopit UPSky o celkovém výkonu 360 KW.
Jaké energetické úspory olejové chlazení přináší?
Je to poměrně jednoduché. Jsou tam úspory na pořízení, protože udělat olejové chlazení je mnohem levnější než koupit klimatizace. Zásadní úspory jsou však v provozních nákladech.
Stačí chvilku počítat. Jak jistě čtenáři ví, tak u datacenter se uvádí tzv. hodnota PUE. Tou se udává, kolik energie navíc potřebují datacentra ke svému provozu nad rámec IT. Tedy zejména chlazení, energetické ztráty, UPS apod.
Starší datacentra mají tuto hodnotu kolem 2,0. To tedy znamená, že potřebují 100 % energie na režii okolo. Moderní datacentra mají hodnotu někde kolem 1,5. Potřebují tedy 50 % energie na chlazení a režii. Nejmodernější datacentra mají tuto hodnotu někde na 1,2. Potřebují tak cca 20 % navíc. U vzduchového chlazení výrazně lepších hodnot nedosáhnete. V našem prvním datacentru máme přímý free cooling a tvrdíme, že to je nejúspornější datacentrum široko daleko a máme tam hodnoty dlouhodobě někde na 1,17. Potřebujeme tak 17 % energií navíc.
Uděláme jednoduchý výpočet. Vezmeme 5 000 serverů, které budou mít dohromady spotřebu 100 kW. Ať se nám to hezky počítá. Stará datacentra, ale takových je i v ČR dost, budou potřebovat na provoz dalších 100 kW energií každou hodinu. Takže celkově takové datacentrum spotřebuje 200 kWh. Modernější budou potřebovat jen 50 kWh navíc. Takže dohromady 150 kWh. Nejmodernější datacentra (a těch je málo) budou potřebovat jen kolem 20 %. Spotřeba celého datacentra tak bude na 120 kWh každou hodinu.
Modernější datacentrum spotřebuje jen 120 kWh a tak ušetří 40 % energií oproti starší koncepci, která spotřebuje 200. Nebo opačně: starší je o 66 % horší než modernější.
Jenže jak to bude vypadat s olejem?
Pořád máme těch 5 000 serverů se spotřebou 100 kWh každou hodinu. První co uděláme, tak z nich vyndáme ventilátory a ventilátory ze zdrojů. Respektive my je nevyndáme, ale softwarově odpojíme. Zkoušeli jste si měřit, kolik takové ventilátory mají spotřebu? Je to samozřejmě server od serveru, model od modelu, ale podle našich měření je to rozdíl 20–30 % příkonu. Pokud budeme počítat s hodnotou 25 %, tak najednou nemají servery spotřebu 100, ale jen 75 kWh!
Víte kolik potřebuje olejové chlazení na svůj provoz? Jsou to jen spolehlivá oběhová čerpadla, která se používají v průmyslu nebo pro vytápění budov – skoro každý je má doma a ani o tom neví. Taková oběhová čerpadla spotřebují maximálně 2 až 3 % energií. Tak na chlazení 75 kW tepla z našich fiktivních 5 000 serverů v příkladu potřebujeme ještě tak 2 až 3 % energií navíc. Výsledná hodnota spotřeby celého datacentra je tak někde na 77 kWh každou hodinu. Porovnejte si to se starými koncepcemi, kde je spotřeba 200. Dostali jsme se tak téměř na třetinu spotřeby a tím na třetinu nákladů na elektrickou energii.
Tohle nejsou nějaké naše imaginární výmysly, ale čistá a holá fyzika. Není to ani náš vynález. Jen to takhle máme připravené používat. Na to lze napsat snad jen to, že kdo je připraven, tak není překvapen.
Proč se chlazení olejem po světě už běžně nepoužívá?
Vidíme tam dva problémy. Jeden je psychologický. Smířit se s tím, že nějaký server potápíte do oleje a věříte tomu, že bude fungovat. Druhý problém je ten, že většina datacenter je určena k pronájmu. Potom je velmi komplikované tam servery přinášet, manipulovat tam se servery, které jsou od oleje a případně je odnášet pryč.
K tomu potřebujete to teplo nějak využít, potřebujete upravit firmware a to je také nereálné, pokud máte každý server jiný, což je u mnoha firem zvykem – co projekt, to jiný model. U nás se to sešlo tak, že všechno tohle dává smysl. Možná nás současné ceny elektřiny všechny doženou k podobným řešením. Uvidíme. My jsme připraveni.
Chlazení olejem se už používá pro specifické účely. Nejčastěji je to chlazení hardware na těžbu kryptoměn. Oni si spočítali, že když budou těžit v oleji, tak se jim to vyplatí, i když cena té kryptoměny spadne více než u konkurence, která chladí vzduchem. Navíc zjistili stejné výhody jako my. Mohou to bezstarostně přetaktovat, hardware vydrží déle a je to tiché. Jedna taková společnost obchoduje na NASDAQ a má tržní hodnotu téměř miliardu dolarů.
Chlazení olejem dává smysl hlavně tam, kde je hodně výpočetního výkonu a ideálně to teplo umíte využít, což je přesně náš případ. My tím budeme chladit náročné ale malé serverové skříně HPE Moonshot, které v sobě mají 45 fyzických serverů s výkonnými procesory a data budeme mít na externím úložišti 3PAR StoreServ Storage 8450.
Je veškerý současný hardware připraven na takové zacházení?
Značkové servery vyžadují upravený firmware, protože si hlídají teploty a například i otáčky větráků. Teploty jsou v oleji vyšší, hardware to nevadí a větráčky tam nemáme.
My máme kontakt přímo na vývojáře HPE v USA, se kterými řešíme potřebné úpravy. Projekt olejového chlazení je velice zajímá a bedlivě sledují, jak nám to jde. Nikdo nám nechce věřit, že nám HPE dodalo upravený firmware a i zařízení na nahrávání firmwaru do napájecích zdrojů našich serverů HPE Moonshot.
Je možné jít ještě někam dále a ještě zlepšit efektivitu?
Ano je, ale už to ekonomicky nedává smysl. Existuje ještě chlazení odparem, které by však bylo konstrukčně náročnější. Navíc ta chladící kapalina stojí tisíce korun za litr a musíte počítat se ztrátovostí, protože se odpařuje při pokojové teplotě. Farmaceutický olej, co používáme, stojí desítky korun za litr a může v těch vanách ležet desítky let.
Spíše je to o tom, jak odpadní teplo dále využijete. Podívejte se, jak rostou ceny energií a kolik bude stát vytopit dům. Díky vodnímu okruhu můžeme teplo rozvést po okolních ulicích, napojit na jejich podlahové topení a udržovat tam v zimě 17 – 20 stupňů. Pokud jim to bude stačit, tak ušetří za celou zimu spoustu peněz. Pro nás je teplo odpad, my se ho potřebujeme zbavit. Lidé za něj ale platí tisíce.
Vezměte si, že naše první datacentrum aktuálně vygeneruje cca 170 kWh tepla každou hodinu, 24 hodin denně, 7 dní v týdnu, 365 dní v roce. To už vytopí poměrně dost. Nové datacentrum je připravené na 300 kW tepla 24 hodin denně.
Připravujete třetí datacentrum, v čem bude specifické?
Třetí datacentrum jsme chtěli postavit rychle a levně. Zadrhlo se to však na byrokracii a v tuhle chvíli je to příliš drahé. Takže máme všechna povolení a čekáme na lepší ceny.
Bude to areál s pěti budovami. Dvakrát klasické datacentrum chlazené vzduchem, kde budeme mít část hlavně pro odkládání dat. Zbytek chceme pronajímat – nabízet serverhousing. Výhodou budou další dvě kancelářské budovy, kde budeme pronajímat i kanceláře. Takže si budete moci koupit místo pro váš hardware i svého ajťáka hned o budovu vedle. Ale je to spíše úvaha a mnohem pravděpodobnější bude to, že to celé využijeme sami.
V areálu bude ještě velký sklad, který nám dlouhodobě chybí. Nejde o prostor pro hardware, ale občas jsme spíše stavební a elektrikářská firma.
Plánů máme hodně. Aktuálně jsme například nakoupili několik tisíc serverů, které postupně rozesíláme do celého světa a o prázdninách chceme mít pokrytí celého světa, všech kontinentů. Chceme tam mít ochrany proti útokům, proxy servery na zrychlení stránek a CDN a mnoho dalších služeb.
Mimochodem v souvislosti s umisťováním těchto serverů po světě je krásně vidět, jak se liší náklady na elektřinu. Někde jsou jen zlomek českých poměrů a v několika málo zemích jsou náklady i vyšší. To už je ale na samostatný seriál.
ČLÁNKY DO MAILU