Vlákno názorů k článku Brněnské datacentrum Faster topí teplem ze svých serverů od Josef Grill, WEDOS - Dovolím se vložit do debaty ohledně chlazení. Problematika...

Dovolím se vložit do debaty ohledně chlazení. Problematika je složitá, ale určité zkušenosti s tím máme.

VZDUCH
V našem stávajícím datacentru máme chlazení pomocí přímého free-coolingu. Teplo od serverů využíváme pro vytápění budovy, ale skutečně přímo a bez dalších úprav (nemáme tam žádné čerpadla nebo přídavné ventilátory a tak nás vytápění nestojí ani o korunu navíc). Přebytečné teplo pouštíme ven do okolí.

Jak to funguje?
Máme zdvojenou podlahu (cca 45 cm) a mezi racky nainstalovanou studenou uličku. Ve studené uličce udržujeme teplotu okolo 17-18 stupňů. Tedy do okamžiku, než je venku tepleji. Když je venku tepleji, tak teplotu postupně zvedáme až na cca 26-27 stupňů. Potom zapneme klimatizaci. Servery máme certifikované na 33 stupňů, ale při teplotách nad 27 stupňů se výrazně zvyšuje poruchovost komponent (zejména pevných disků). Zároveň nad 25-27 stupňů již servery používají své ventilátory tak intenzivně, že roste spotřeba tak vysoko, že se to nevyplácí (ventilátory v serverech se začnou točit a spotřeba serverů může vyrůst až o 50% původní spotřeby serveru a tak je prakticky lepší zapnout klimatizaci). Za servery je teplota 30-35 stupňů.

V datacentru máme 2 silné ventilátory (na 30.000 m3 vzduchu za hodinu). Jeden slouží jako "sací" a nasává chladný vzduch zvenku. Tento vzduch projde několika komorami, kde se profiltruje a následně se smíchá s teplým vzduchem, který odchází ze serverovny. Namíchaný vzduch na přesnou teplotu (sledujeme i vlhkosti) se posílá pod podlahu a jde k serverům. Poměr míchání příchozího a odchozího vzduchu se řídí automaticky uzavíráním 3 různých klapek a řízením otáček motorů. Druhý motor je odtahový a slouží pro odtah teplého vzduchu. Přebytečný teplý vzduch, který není využit pro ohřev posíláme ven pomocí odtahového motoru. Předtím, než teplý vzduch opustí budovu projde přes tlumiče hluku, protože jsme v obytné zástavbě.

V zimě teplý vzduch, který je za servery a má přes 30 stupňů používáme pro vytápění celé budovy (2 x 440 m2), kde byly dříve 3 plynové kotle. Jak vytápíme? Snadno .-) . Ve všech prostorách jsme udělali sádrokartonové podhledy a v nich máme místo kazet mřížky (dají se koupit normálně místo sádrokartonu). A teplý vzduch od serverů jde potrubím do těchto podhledů a tam projde těmito mřížkami do kanceláří. Celé to jede bez jediného přídavného ventilátoru (a tak nás nestojí topení ani korunu navíc). Jede to přetlakem, kdy v serverovně "přivřeme" odtahovou klapku a tím teplý vzduch musí odcházet přes sádrokartony a tam ohřeje kanceláře a přetlakem jde ven okny. Ano, okny. Musíme mít otevřená okna celou zimu. Kde máme zavřená okna, tak je v kancelářích zima. Na bezpečnost to nemá vliv. Na oknech jsou bezpečnostní mříže, všude alarmy a obsluha 24/7. Celé vytápění funguje skvěle a to i včetně příslušných revizí, protože tam jsou protipožární klapky mezi jednotlivými prostorami apod. Na hašení máme připravený plyn FM200, přičemž se uzavřou klapky a pustí klimatizace a následně vypustí plyn. Máme dvojitou detekci požáru a na vše se dělají revize 4x ročně.

Vytápíme tedy takovým "chlazením naruby". Celé je to naruby :-) . V serverovně se snažíme studený vzduch od podlahy dostat nahoru k serverům a v kancelářích chceme naopak teplý dostat ze sádrokartonů dolů. Jde to tím mírným přetlakem.

Celé jsme si to vymysleli a navrhli sami a máme to již 4 roky. Stejně tak celé řízení jede přes EIB/KNX a vše je v PC a řízeno přes opensource nástroje. Vše je automatické a redundantní.

Funguje to v zimě a to i v těch největších mrazech. V létě zapínáme klimatizace při venkovních teplotách nad 27 stupňů, což cca 100-200 hodin ročně (cca 1-2% doby). Aktuálně (a při teplotách do cca 15 stupňů venku) máme spotřebu elektřiny na chlazení okolo 5-7% z celkového příkonu (PUE tedy 1,07) a to tím vytopíme celou budovu. Když se použije klimatizace, tak je spotřeba o téměř 100% vyšší, ale je to jen velmi krátkou dobu a tak naše výsledky jsou až neuvěřitelné...

Funguje to. Kdo nevěří, tak může přijet.

KAPALINA
V našem druhém datacentru (http://dc.wedos.cz/), které nyní stavíme to bude jinak. Tam plánujeme, že všechny servery nebudou chlazené vzduchem, ale budou chlazené kapalinou. Nebude to nějaké komerční kapalinové chlazení, ale všechny servery budou plavat v olejové lázni ( https://www.root.cz/clanky/utopte-servery-v-oleji-usetrite-a-vyhrejete-mestsky-bazen/ ).
Všechny servery budou ponořeny ve vanách s olejem (https://www.youtube.com/watch?v=VCQP1pX3FHI) , přičemž olej bude mít cca 43-45 stupňů. Máme otestovány mnohem vyšší teploty a serverům nevadí.
Olej budeme chladit vodou, přes tepelný výměník a odpadní teplo chceme využít nejen k vytápění budovy (případně budou sousedících), ale především k ohřevu městského koupaliště. Vytápění budovy bude řešené přes podlahové a stěnové topení, přičemž je zajištěn dostatečný teplotní spád. Odběr však je jen malou část roku. Ohřev městského bazénu bude přes výměník. Bazén je otevřený a celoročně napuštěný a tak je to odběr tepla na celý rok.

Pomocí kapalinového chlazení chceme chladit například i motorgenerátory apod.

V novém datacentru bude snížená hladina kyslíku v technologických prostorách, což bude prevence vzniku požáru. Na samotné hašení bude instalován hasící systém.

Věříme, že to bude fungovat taky :-) .

Spotřeba serverů a technologií klesá a výkon roste, ale na druhou stranu serverů (a úložišť) je stále více a více.

Na jaře budou Dny otevřených dveří lepší, protože bude i druhé datacentrum a tam naše servery plavající v oleji :-)

- máte dovlhčování?
= Nemáme, ale jde dodělat "lousknutím prstu", ale nebylo doposud nikdy potřeba (vlhkost měříme na několika místech). Suchý vzduch je primárně v zimě, když jsou velké mrazy. A to je pár dní v roce a v tu dobu se vzduch hodně cirkuluje uvnitř, protože mrazivý vzduch zvenku je potřebný jen v malém množství. Naopak se tak 1-2x ročně setkáme s tím, že je potřeba odvlhčovat. To je když je tepleji, ale je hustá mlha a tak nasáváme vysokou vlhkost. V takovém případě systém přejde automaticky chvilku na klimatizaci, která to srovná.

- o kolik se reálně ohřeje vzduch průchodem ventilátoru a všemi stupni filtrace?
= Minimálně, to nejsou ani desetiny stupně, protože vzduch má poměrně velkou rychlost a teplota okolí je také vychlazena nebo ohřáta na podobnou teplotu. Ty změny jsou tam minimální.

- řešíte nějak tlakové poměry na teplé a studené straně? Jakože aby systém chlazení netočil přetlakem na studené straně sám ventilátory v serverech (které pak fungují jako "větrné elektrárny" a generují proud tam kde to základní deska neočekává), ale naopak aby ventilátory serverů nemusely (příliš) tlačit do přetlaku v teplé uličce?
= Chtěli jsme dát měření tlaku na několik míst v serverovně, ale ekonomicky to nedávalo smysl. Tak jsme od toho upustily. To bylo však zamýšleno pro lepší souhru ventilátorů. Tlakové poměry v teplé a studené části jsou stejné, protože ten vzduch projde servery bez omezení. To se tlakově chová stejně. Jen teploty jsou rozdílné. Tlak je podstatný kvůli řízení otáček a zavírání klapek, aby nedošlo k nějakému stavu co nechceme. Za běžného provozu ventilátory v serverech jedou na minimum, protože vše řeší ten velký centrální. Je to úspornější.

- jeden ventilátor na vsutpu a jeden na odtahu - to není příliš redundantní, ne? A zvlášť při výpadku může být problém s přetlakem tam kde nemá být,. vizte výše.
= Odtahový motor z hlediska redundance vliv nemá. Bylo by jen tepleji za servery a vznikl by nám silný přetlak v serverovně. Podstatnější je přívodní motor, ale tam je redundance řešena tak, že se automaticky zapne (bez lidského zásahu) klimatizace. A klimatizace jsou řešeny v soustavě N+1. Takže je tam ještě redundance i u klimatizací.

- s odpadním teplem ze strojního chlazení děláte něco užitečného?
= Co konkrétně myslíte? Celý oběh vzduchu u free-coolingu je samostatná soustava a vzduch se používá i po chlazení ventilátorů. U klimatizací se odpadní teplo pouští pomocí jednotek (na střeše budovy) a teplo jde ven. Je to jen v létě v největších vedrech (nad 27 ve stínu) a to o teplo nikdo nestojí :-)

Ano, určitý minimální rozdíl v tlacích vždy existuje, ale je to prakticky zanedbatelné. Na druhou stranu tu rychlost přisávání vzduchu takhle nespočítáte, protože tam je potřeba vzít v potaz více veličin. V každém případě se tady bavíme o minimech, které pro servery nejsou podstatné a to ani teoreticky (nefungovala by žádná studená a teplá ulička a další řešení) a ani prakticky (vyzkoušeno 4 roky u nás a bez jediného problému). Vycházíme z praktických zkušeností a několika let praxe se stovkami serverů, kterých se to týká.