Názory k článku Hlavní problém s chlazením olejem je psychologický, říká Josef Grill (Wedos)
-
Žádné 128jádrové procesory Epyc na trhu nejsou. Maximum je 64 jader, se 4. generací by mělo dorazit 96 jader a v 5. generaci snad i těch 128.
Na otázku zda to bude stačit na procesor, který se nevyrábí a neznáme jeho parametry asi odpovědět nelze.
No a 64jádrový Epyc má TDP 200-280W ( podle typu ), což se dá tak na hraně uchladit vzduchem v 1U. Takže nevidím důvod, proč by se to neuchladilo kapalinou, která má lepší tepelnou vodivost než vzduch.
27. 9. 2022, 08:40 editováno autorem komentáře
-
Dobrý den,
větráky ze serverů vyndaváme. Větráky ve zdrojích necháváme, ale jsou vypnuté, protože máme speciální firmware (a tím to nehlásí chybu).
Chladiče na procesorech necháváme, protože to zvětšuje chladící plochu.
Teplotní spád máme plánovaný tak, že olej bude mít provozní teplotu 30-43 stupňů Celsia a chladící voda o 5 stupňů méně.
Máme otestováno i to, že olej může mít až 58 stupňů a stále vše funguje. Jaké to má výhody? Lze tím chladit i poměrně teplou vodou (řádově 50 stupňů) nebo vy šlo i jinými médii. Teplo lze využít k jiným účelům, protože tak teplou vodu lze využít pro cokoliv (například ohřev TÚV). V neposlední řadě tam máme velkou rezervu, kde se může teplota oleje pohybovat a nemá to vliv na provoz.
-
Takže google a amazon mají také psychologický problém, že neponoří svoje servery do oleje? Myslel jsem, že pro peníze jsou ochotni udělat cokoli.
Nebo mají nějaké jiné hodně dobré řešení?Docela mne štve jak nás EU nutí na sílu kvůli ekologii do elektroaut a různých ne zrovna efektivních řešení, ale na psychologické problémy a s tím spojená nesmyslná plýtvání si neposvítí.
Problém vidím také v tom, že výrobci serverů si spotřebou moc hlavu nelámou. Např. optimalizace spotřeby v případě malého zatížení je často žalostná. Kdyby např. existovaly servery z notebookových procesorů, dalo by se ušetřit třeba 2/3 elektřiny (stačí porovnat maximální výkon a maximální spotřebu a také minimální spotřebu bez nebo s minimální zátěží), protože notebookových procesorů se vyrábí obrovská kvanta a tak jsou levnější než "serverové". Pravda není to zjevně na kritické věci jako databáze, ale na spoustu aplikací by to bylo dostatečně spolehlivé.
-
Není pravda, že 64 jádrový procesor má osminásobně větší výkon než 8 osmijádrových. Výkon toho velkoprocesoru je menší než kolik by odpovídalo počtu jader. A také spotřeba osmi notebookových procesorů je poloviční než jednoho 64 jádrového procesoru.
Podobně je to s pořizovací cenou, kdy 8 počítačů s notebokovým procesorem vás vyjde na na zlomek toho co stojí ten superstroj.
https://www.obchudecek.cz/detail.php?zbozi=V163305_asus-pn51-r7-5700u-1-m-2-slot-2-5-slot-0g-bez-os
Tedy jediná podstatná výhoda toho superstroje může být v tom, že je se lépe spravuje a zjevně je spolehlivější. On ale i ten notebook už má dnes docela slušný výkon a škálovat to musíte naučit tak jako tak, takže by to žádná velká práce navíc být nemusela.
-
takhle to ale nelze srovnávat, ty generický testy na cpubenchmark profitují nejvíc z frekvence procesoru.
Pokud dělám nějaký IO server (třeba storage), frekvence procesoru je pro mě nedůležitá, důležitý je pro mě počet pcie linek a schopnost připojit co nejvíce disků. Stejně tak problém bude s množství adresovatelné paměti.
8 notebooků mi pořád poskytují o řád nižší výkon než dokážu mít na jednom 1U dvou socketovém serveru, zkoušeno osobně. Z nepoužitých notebooků jsme často dělali firemní laby pro workshopy, rozdíl je to obrovský, on ten notebook se ti totiž zastaví na 1GbE síťovce a málo připojených disků.
Obrovskou spotřebu mají ty různé můstky pro pcie, periférie (SFP+ modul si umí sám říct i 10W) a nikoliv jen samotný cpu.
-
Aby měl jeden stroj jen síťové disky a druhý jen procesory, to jsem nikdy moc nepochopil.
No, asi se pohybujete na trochu jine urovni :-)
Pokud je pristup na disk 'po siti' stejne rychly nebo rychlejsi nez 'lokalne' tak je lepsi mit disky jinde. Muzete je pak samostatne skalovat, replikovat, pridelovat dynamicky I/O a misto ruznym klientum, resit zavady, ....
Treba v Azure si na disku zvolite ze ma byt georeplikovany do jineho datacentra, taky si muzete prekliknout performance tier aby byl rychlejsi - prikoupite si vic IOPS. Nebo si proste jednim klikem zvetsite disk na dvojnasobek, nebo pridate dalsi - za behu, bez restartu. To s tim vasim modelem datacentra poskladaneho z notebooku moc nejde.
-
Aby platilo "disk 'po siti' stejne rychly nebo rychlejsi nez 'lokalne'", tak do toho musím dát takovej ranec peněz, že se to jen málo kde vyplatí. Navíc tam vzniká SPOF a to i když to je někam replikovaný. A není to SPOF jen pro pár aplikací jednoho serveru, ale SPOF pro všechno. Pokud si můj produkt poradí na nezávislých serverech s lokální storagí, bude to lepší, rychlejší, levnější a spolehlivější řešení.
-
ja popisoval situaci u cloud provideru typu AWS, Azure, Google pripadne jina vetsi datacentra. Diskutujeme pod clankem o hosting providerovi. Jako SPOF mi spis pripada ten lokalni disk. Jak pak jako provider udelate pro zakaznika za behu live migraci bezici VM kdyz ten lokalni disk selze nebo potrebuje udrzbu? nebo mu udelate vypadek se ztratou dat?
Nevim, my presli do cloudu uz pred mnoha lety a byl to obrovsky krok vpred prakticky ve vsem vcetne spolehlivosti takze ani nevim co to presne znamena ze si "můj produkt poradí na nezávislých serverech s lokální storagí" :-) No, asi by si neporadil - jsou to vyssi desitky mikroservis v Kubernetes clusterech bezicich asi v peti regionech po celem svete. Plus neco starsiho monolitickeho v desitkach az nizsich stovkach VM.
-
Bavíme se o hardwaru. Hardware u AWS nebo Azure je stavěn právě na to, aby tam přišel někdo jako vy a koupil si to. Pokud ale nechcete platit vyšší desítky tisíc měsíčně třeba za usmrkaných 256 GB RAM, tak půjdete do vlastního nebo pronajatého železa a aplikaci tomu přizpůsobíte. V době, kdy máme na dosah ruky věci jako Minio, PostgreSQL HA, CouchDB, CockroachDB, CEPH a mnoho dalších technologií, je v silách i menších týmů na tom postavit stabilní produkt.
-
Těch možností jak replikovat a klonovat data v reálném čase je spousta. Jak na úrovní souborů tak třeba databází. Existuje nastavení kde máte v reálném čase více kopií stejné databáze nezávisle na sobě. Často ale může stačit i obyčejná replikace. Kdyby jste to chtěl dělat tak jsou zvyklí v mracích, tak s dá použít drdb, což je síťovej raid 1. Každý virtuál má nějaký záložní stroj, kde se může okamžitě pustit jeho aktuální kopie, kdyby hardwarový stroj na kterém běží jeho virtuál přestal fungovat. Ale u většiny projektů tohle není potřeba a stačí si vystačit s nočními zálohami na jiný stroj + třeba replikací databáze. Je tedy možnost virtuál během pár vteřin spustit na jiném stroji než je jeho domovský.
Fakt by mě zajímalo co běží na těch děsně předražených cloudových infastrukturách. Zákazníci jsou nějaké banky? Nebo kdo si jiný si může dovolit takto děsně předražené řešení? Pak nateče voda do diskového pole a mají týdenní výpadek. -
nechápeš to (bez urážky), protože jsi asi nikdy nemusel dělat sizing pro velké aplikace.
Cíleme je vždy mít optimálně vytížené všechny komponenty třeba na 60 %, je mrhání prostředky mít server, který vytížený není a naopak mít něco vytížené na 100 % dlouhodobě. Zejména, když těch serverů mám tisíce.
Jdi na to z druhé strany, dokážeš vymyslet úlohu, která by notebook vytížila rovnoměrně na 60 % (tj. cpu, paměť, iops disků, síť)? Pokud ano, notebook může být pro tebe vhodná náhrada za server. (Samozřejmě ignoruji to, že notebook chlazením, napájením není stavěný na 24/7 provoz).
V praxi se setkávám s tím, že něco vytíží cpu, něco ram, něco síť, něco disk, takže je pak velká snaha to rozdělit, mít 10 serverů s disky, 100 serverů s cpu, 5 switchů, 5 serverů s GPU na výpočty místo toho, abych koupil 100 serverů s GPU, disky a vším jen kvůli tomu, že potřebuji 1000 cpu jader na špičkovou zátěž. Rozumíme si?
-
Pokud mám ale vlastní projekt, se stabilní předvídatelnou zátěží, tam jsem na tom lépe bez disků někde mimo, které by to akorát prodražily. Rovnoměrnější zátěž zajistím tím, že virtuály vhodně rozmístím na fyzické servery s výpadkem několik vteřin v době kdy není špička. Zátěž mohu měnit i za chodu změnou nastavení proxy.
-
Adam KaliszStříbrný podporovatelV laptopu nemáte ECC DRAM a tím asi diskuze skončila. Taky řada problémů není napsaná tak, aby běžela na více strojích - potřebuje jeden adresní prostor.
Jedinou výhodu, kterou více strojů s menším počtem výkonných jader má je ten, že máte lepší poměr propustnosti paměti na jádro. Mj. proto se prodávají modely 72F3 a 73F3 s velkou cache a vysokými frekvencemi, ale jen zlomkem jader: https://www.amd.com/en/processors/epyc-7003-series
Jinak právě kvůli propustnosti paměti existují modely s X na konci, které mají 768 MB L3 cache. Viz https://www.servethehome.com/amd-milan-x-delivers-amd-epyc-caches-to-the-gb-era/ -
Ano notebookový procesor nepodporuje ECC, takže se zjevně na některé aplikace nehodí. To že se pro některé více hodí větší spojený adresní prostor, nebo to dokonce jinak "nejde" je také pravda.
Z mojí zkušenosti ale mohou o počítače bez ECC běžet roky bez jediného restartu i s velkou zátěží. Pokud se nějaký po čtvrt roce záhadně restartuje, je třeba z něj udělat desktop. Máme 2/3 počítačů s ECC, ale opravenou chybu paměti jsem ještě neviděl. Ale možná je to jen štěstí.V každém případu pro většinu běžných aplikací (weby) si lze krásně vystačit bez těch superstrojů.
Na co se vlastně spálí většina procesorového času takhle v serverovnách? Bojím se toho, že část elektřiny se prostě zbytečně spálí jen aby se někdo nemusel zamyslet nad tím, jak to stejné udělat efektivněji a nakonec i levněji.
-
V každém případu pro většinu běžných aplikací (weby) si lze krásně vystačit bez těch superstrojů.
Ak ratate s navstevnostou niekolko uzivatelov za den, tak urcite ano, staci.
Ak je navstevnost realna, tak je zrejme ze paralelne na tom stroji bezia tisice uloh. V tom pripade ocenite serverovy procesor, ktory je stavany pre takyto druh zataze.
27. 9. 2022, 11:42 editováno autorem komentáře
-
Ale vy přece můžete snadno loadbalanocovat třeba pomocí proxy serveru. Že máte místo jednoho superstroje několik méně výkonných pak vůbec nevadí, navíc každý se dá snadno odstavit.
Jediný co mne napadá, může mít význam mít centrálně je třeba databáze co se zápisu týče. Čtení je ale opět možné dělat z klonů. -
Kiez by to bolo takto jednoduche :D To by to mohol robit kazdy kto ma ponize chrbta dieru... Teda on to casto aj robi a potom to tak vyzera. Vtedy nastupuje "vseliek" s nazvom horizontalne skalovanie. Tu energiu nesetrite tym ze to mrte uzivatelov rozdelite x strojov, ale tym ze je ta aplikacia napisana efektivne. Vy sa vlastne snazite riesit dosledok, miesto toho aby ste riesil pricinu...
-
Adam KaliszStříbrný podporovatel
To je zajímavé až když je jeden stroj moc drahý nebo máte extrémně vysoké nároky na dostupnost. Do té doby je skoro vždy lepší buď si pronajímat VM na větším stroji nebo tu a tam koupit větší stroj.
Vždy je nutné volit vhodné nástroje pro daný problém. A skoro vždy nakonec vyhraje jednoduchost návrhu. Jednoduchý neznamená lehký nebo primitivní, je to o přímočarosti myšlenky.
-
Ty jsi nevidel opravenou chybu z ECC? No tak se stipni protoze zijes v matrixu.
... a nebo mas blby setup.
Muzu te ale ujistit ze se optimalizuje na spotrebu. Akorat porad ten power saving hapruje. Kdyz po zapnuti vyskoci delay zpracovani na desetiny sekundy je to citelna financni/funkcni ztrata u nekterych near realtime appek.
-
Jan HrachStříbrný podporovatel> V laptopu nemáte ECC DRAM a tím asi diskuze skončila.
Existují i embedded/lowpower procesory s ECC, například i5-12500TE / i9-12900TE. Prodává se to například jako https://www.onlogic.com/computers/rugged/karbon-800/
-
Plýtvá se všude a protože to někdo zaplatí, většinou to nikomu nevadí.
Servery s mobilními CPU budou mít i odpovídající výkon. A CPU není jediný zdroj tepla v serveru, spousta všemožných řadičů a kontrolérů se vyrábí starou technologií a tak jsou hodně neefektivní.
Kam až by měly ty regulace zajít? Já bych klidně zakázal krytoměny a sociální sítě, protože nic z toho nepoužívám, tak je to jen plýtvání energií. A kolik energie spotřebují takové továrny na cigarety, které nemají žádné praktické použití?
-
Tady porovnávám 2 procesory. Jeden je notebookovej max TDP 15W a druhý je desktopovej serverovej max TDP 105 W. https://www.cpubenchmark.net/compare/AMD-Ryzen-7-5700U-vs-AMD-Ryzen-9-5900X/4156vs3870
Předpokládám, že u Xeonů by to bylo ještě horší nemluvě o podstatně vyšší ceně procesorů.
Oba mám, takže mohu porovnávat reálnou spotřebu.
Výkon je notebookového je o něco méně než poloviční. (celkový výkon není jen procesor). Spotřeba je ale sedminová.Nemusím kupovat notebook stačí třeba tohle.
https://www.obchudecek.cz/detail.php?zbozi=V163305_asus-pn51-r7-5700u-1-m-2-slot-2-5-slot-0g-bez-os
S chlazení problém fakt není, jak by mohl být u některých notebooků.
Ještě by mne zajímalo k čemu jsou tak velké výkony běžně potřeba?
-
On je rozdíl v tom, když řešíte chlazení jednoho notebooku na 1 stole a tisíce serverů v jedné místnosti...
Například my máme v našem Datacentru 1 servery HPE Moonshot tak, že je jich 4-6 v jednom racku a to máte 180 až 270 serverů v jednom racku a celkově to má potom příkon (odběr) 10 až 18 kWh a stejně to vyprodukuje tolik tepla. A těch racků tam máme dost. Tak to zkuste uchladit. To je potom problém.
Všechna datacentra po světě, i ta nejmodernější, udávají kolik elektrické energie umí zajistit pro každý rack a potom kolik tepla dokáží uchladit pro každý rack. Běžně to jsou jednotky a my u nás řešíme 10 a víc. V oleji budeme mít na jednom stojanu 14 až 22 serverů HPE moonshot, což je 630 až 990 serverů plus desítky switchů (a to si nemyslete - také topí)!!!
Něco jiného je to také chladit vzduchem v severských zemích a něco jiného tady v ČR a něco jiného třeba v různých emirátech...
Servery nebudou chtít fungovat ve 40 stupňů teplém vzduchu. Tak musíte klimatizovat.
Olej to dovolí posunout na jiné úrovně, lépe to uchladí i při teplotách nad 40 stupňů. Nejsou tam otřesy, prach a lokální místa, kde by se to přehřívalo.V serverech není zdrojem tepla jen CPU, ale prakticky všechny komponenty nějak topí a pokud dáte na 300m2 plochy přes 10 tisíce serverů, tak budete mít 300kW tepla každou hodinu, 24 hodin denně, 7 dní v týdnu. A to je problém.
To se nedá srovnávat s notebookem. -
Rozumím, za chlazení olejem chválím. Já jen nerozumím tomu, proč to nedělají ostatní, proč to nepodporují výrobci hardware a proč se výrobci hardware více nesnaží snižovat spotřebu.
Proč to nedělají ti opravdu velcí? Oni možná mohou ochlazovat mořskou vodou, která má celkem stabilní teplotu, což vyjde zase lépe a nikdo by je nemohl nařknout, že oteplení vody v řece o půl stupně je neekologické.
Také mne napadá, že by i při chlazení vzduchem se mohly používat tepelné čerpadla a ochlazovat ne do vzduchu ale do vody. Ono se dá dobře topit i 25 stupňovou vodou, případně pomocí dalšího čerpadla ji ohřát na 50 stupňů.
-
Víte v kolika lidských oborech jsou zažité postupy a nikdo to nechce měnit?
Stačí benzín/nafta, elektřina nebo vodík u aut...U chlazení serverů v oleji narazíte na mastnotu. Kolik datacenter je ve světě privátních a kolik komerčních? V těch komerčních nejste schopen moc dobře řešit celé olejové hospodářství, výměny komponent. Je to složité.
My máme privátní datacentrum a tak to máme snadné. Nejlepší řešení je přesně takové, které máme nyní - celé druhé datacentrum je jen a pouze na chlazení olejem.Mořskou vodu můžete využít na chlazení oleje, to je ideální a lze to udělat i u tropických moří. Vzduch na 20 stupňů neochladíte mořskou vodou, která bude mít 20 nebo třeba 33 stupňů. A servery vám ve 40 stupních teplém vzduchu nebudou fungovat... Disky budou mít obří chybovost (mimochodem ta je už při 27 stupních poměrně vysoká).
Jenže olej může mít třeba 50 stupňů a vše funguje. A tak teplý olej můžete chladit vodou z moře, které má 33 zcela bez problémů.Problém u vzduchu je ten, že je 300 až 1200 horší, než olej - z hlediska chlazení - tepelné vodivosti. Takže na chlazení vzduchem musíte hnát 300x více vzduchu, než oleje. Tím pádem dostat tolik vzduchu do pohybu je problém, protože je to energeticky náročné.
-
Budu slovickarit...
Na fungujicich procesech/zajetych postupech je zalozena moderni civilizace. Je rozdil mezi zajetymi postupy a inovaci. To co vytvarite je inovace ktera ma vytvorit novy zajety postup.
Pokud byste neresili standardizaci nedomluvite se ani mezi lidmi navzajem a pravdepodobne nedosahnete ani na potrebne certifikace svych DC.
Chapu ze narazite na na lidi kteri vam reknou "delame to tak 20,30,40 let", "to je dobry" a nechteji inovovat. Nebo se aspon zamyslet nad tim jestli neni jina cesta. To je boj ktery ma kazdy z nas.
-
Pokud by se používali jen "zajeté procesy", tak v ruce máte pazourek, na sobě kůži z mamuta a běháte pěšky...
O tomhle je přeci ten pokrok. Bez toho by nebylo nic. Ani meč, ani puška, ani knihtisk, ani továrna, ani bicykl, ani motocykl, ani auto, ani letadlo... Nic. Bez toho by přeci nebyl ani počítač nebo mobilní telefon. Všem by stačil kouřový signál.
-
Urednici kdekoliv casto funguji jen jako reakce. Kdyz budete posilat dopisy nasim zastupcum v EU a urednikum v EU komisi, tak se o to budou casem zajimat (pokud tech dopisu bude hodne od hodne ruznych lidi).
Druha moznost je ze chlazeni olejem jako vyznamna uspora bude soucasti zaveru nejake vedecke studie, ktera se dostane urednikum na stul. -
Asi to tak je, ale je to hloupý arogantní postup. Měli by si nejdříve stanovit cíle a poté hledat nejlepší cesty jak je dosáhnout třeba i tím, že si studii sami zadají, bez ohledu na tom jestli jsou to netradiční cesty nebo ne. Také je dobré diverzifikovat a zkoušet více postupů, protože některé věci co se snaží dotovat se mohou ukázat jako slepá cesta. Viz třeba povinné přidávání biopaliva, které nejenom že je drahé, ale nadělá víc škody než užitku.
-
Nevim jak funguje vsechno, ale EU treba ted strka hromadu penez na vyzkum v ruznych oblastech energetiky, a projekty ktere zkoumaji moznosti uspory maji vyssi hodnoceni a tedy vetsi sanci na to byt financovany. Vysledky tech projektu se pak strkaji do ruznych souhrnu ktere pak postupne probublavaji parlamentem i komisi.
Ale hlavne si nepredstavujte zadne politicke nebo urednicke uskupeni jako neco jednotneho. Je to hromada lidi s ruznymi nazory, pohnutkami a cili.
Takove predstavy "meli by si stanovit cile" jsou hezke, ale absolutne nerealne v jakekoliv spolecnosti 100 a vice lidi.Staci se podivat na jakoukoliv radnici se 7 zastupiteli. Vsem je jasne ze je potreba opravit cesty, ale kazdy chce zacit s cestou pred svym barakem, a nakonec to skonci tim ze se jako obvykle opravi jen cesta pred domem toho nejhlasitejsiho..
-
"Škoda, že se více nechlubí tím co vyzkoumali a jaké z toho dělají závěry."
Ale ano, kazdy projekt a kazdy vyzkum se chlubi o 106 zavery. Sebepropagace je v poslednich desetiletich na vzestupu, vsichni chteji bobriky. Ale otazka je co se k vam dostalo. V odbornych kuloarech je propagace spousta, ale v popularne naucnych pro sirokou verejnost jsou jen fakt velke veci.
Priklad: jeden z poslednich projektu, ktere jsem spoluresil, se tykal uspor v zeleznicni doprave (financovane EU). Vysledkem nejakeho lepsiho mereni a planovani byla uspora 0.5 - 2 % (dle typu trati, grafikonu, soucastkach atd). Projektu se ucastnili vyrobci lokomotiv i dopravci, a ti maji vlastni vyvojare kteri se uz ted snazi vysledky implementovat. Zavery projektu se nejakym zpusobem odrazily v evropskych normach. V odbornych periodikach se projekt sebepropagoval hromadou clanku. No a predstavte si clanek v nejakych novinach, treba na idnes.cz, kde bude napsane "Podarilo se snizit spotrebu elektrickych lokomotiv o 0.5--2 %, vysledky uvidime u lokomotiv ktere budou predstaveny za 5 let". Kdo by takovy clanek cetl? Nikdo. Ani ja, kdybych nebyl v oboru. To je proste nudne tema. Holt vyvoj pokracuje po malych kouscich. Revoluce se deje jen jednou za cas.
O olejovem chlazeni ctete jen proto, ze mate nejaky vztah k pocitacum. Ale kdybyste byl treba sociolog, tak o to tema ani nezavadite.27. 9. 2022, 10:41 editováno autorem komentáře
-
Dík za příklad. Že nové lokomotivy za 5 let ušetří v průměru 1% je opravdu nezajímavé, člověk by to tak nějak čekal.
Ale že se kvůli olejovému chlazení může ušetřit 50%, jen kdyby se podařilo vyřešit psychologické problémy managerů, kteří o tom rozhodují, je mnohem zajímavější a pro mnohem širší veřejnost už proto že v IT dělá více lidí procentuálně než u železnice a psychologické problémy má také kde kdo, nejen manažeři v IT, kteří kvůli tomu plýtvají. -
" člověk by to tak nějak čekal." - nove lokomotivy usetri i vic, ale v dusledku daneho projektu je to o tech 0.5 - 2 % *navic* ke stavajicicm vylepsenim novych lokomotiv. Coz je ale irelevantni, slouzilo to jen jako ukazka toho ze vysledky se prezentuji, ale k vam se to nedostane protoze vam to prijde nezajimave. 50 % je hezke relativni cislo oproti 1 %, ale dopravdy je dulezite, kolik to dela absolutne v porovnani s naklady na implementaci.
Ten olej neni jen o psychologii, je to taky o predelani stavajici infrastruktury, coz mozna neni tak jednoduche jak zni v clanku, protoze na tom uz delaji 10 let a porad to je testovaci provoz.
V minule diskuzi to sice zastupce wedosu omlouval tim ze byl potreba vyvoj i vyvoj jinde. Me z toho ale prijde ze naklady na prestavbu vs uspory asi nejsou tak jednoduche/ruzove jak to zni jinak by uz cele centrum jelo v oleji 5 let zpatky. -
Asi to bude principiálně hodně jednoduché, prakticky už tak moc ne. Ono ale velká část problémů je v tom, že se snažíte dělat co nikdo moc nedělá. Kdyby to více podporovali různí výrobci hardwaru a byli na to lépe nachystaní, výrazně jednodušší by to bylo. A to je politická věc, na kterou by mohla EU pomoci zatlačit. Rozhodně ta potencionální úspora je tam obrovská nemluvě o tom, že i těch 50% spálené elektrické energie je možné využít na topení a tím ušetřit jinou energii.
Serverovny by se také mohly stavět ne tam, kde si někdo ráčil zavést optické kabely a dostal se levnějšímu pozemku, ale tam, třeba místo stávající teplárny.Tedy úspora se může zastavit třeba až na 70%.
-
Sice nemám žádná čísla, ale laicky srovnávat serverové komponenty schopné běžet 24/7 proti notebooku, kde se počítá životnost při průměrné osmihodinové směně...
Neříkám, že by se serverové komponenty nemohly zabývat úspornými CPU, ale otázkou je, zda se vyplatí (výrobně) dobrovolně vytvářet celý subsystém 24/7 s jasně nižším výkonem oproti stávajícím serverovým CPU. -
Google ma PUE globalne 1.09, v poslednom postavenom datacentri 1.05.
Kolko ma olej? Ked to nie je ovela lepsie, tak sa to neoplati. Server v racku vyzera vsade rovnako, ludia to poznaju, z malej plochy sa da obsluhovat vela rackov.
Su plany na dalsie zlepsenia. Ked nebude olej o dost lepsi, tak do neho velki hraci nepojdu.
-
Ano, něco jiného je mít PUE 1.09 v ČR a něco jiného třeba na severu Norska. To jsou zásadní rozdíly. V ČR je to nereálné a naopak na serveru pohoda.
Jenže v oleji se dostaneme ještě třeba o 30% níže a to je zásadní. Kapalinové chlazení je a bude vždy lepší, úspornější a mnohem více ověřené (rozumějte spolehlivé), než vzduchem...
-
Servery z notebookovych CPU existuji, jmenovalo se to HPE Moonshot, a jednalo se o 45 modulu, klidne az se 4 cpu kazdej. Takovej uzel pak mel 10Gbe+NVMe+CPU+RAM. Celkem tedy 180 uzlu v 4.3U rozmeru !
haha, i Wedos to mel
https://www.facebook.com/watch/?v=10156034910437780Ja si nejakou chvili hraju s temi CPU modulama - snazim se to rozjet jako standalone, bez toho HPE 1500 chassi.
EDIT: koukam do galerie.. a tam si plave Moonshot v olejove vane :P
28. 9. 2022, 14:45 editováno autorem komentáře
-
Tak ono se neděje často, že se v takovém serveru samo od sebe něco pokazí. Když už bude potřeba něco měnit, pochopitelně bude asi potřeba konektory alespoň nahrubo očisit a odmastit. Je ale možné, že přítlak kontaktů stačí. Když jsem byl ve Wedosu asi před 10ti lety, bylo už tohle zmíněno. A pochopitelně musí být s dodavatelem domluveni na reklamaci mírně mastných komponent.
Spíš ten servis zabere trochu víc času, než to odkape, a než člověk v zamaštěných rukavicích udělá co je potřeba. Ale tak vše je dnes virtualizované, takže služby zatím poběží na jiném stroji a nikdo nic nepozná. Ekonomicky je to určitě dobře spočítané.
-
Stava se to dost casto. Kazda serie ma ruzne sve zname problemove komponenty. Vsichni vyrobci maji neco
Nekdy vam je vyrobce i posle predem - protoze nechce platit letadlo/vrtulnik.
Servis v cesku neni drahy(zatim). Lidi zde delaji prakticky za chleba a vodu.Ne vse jde virtualizovat. Tedy alespon ne okamzite. Vyzaduje to nejake testovani a vyvoj. Treba presun z velkeho mainframu na open systemy vyzaduje leta prace. A casto prijdete uz pri analyze k tomu ze virtualizovany hw neni levnejsi a neposkytuje vam ty same minimalni odezvy jako velke zelezo.
-
nakupujeme do cz nové servery převážně od Dellu (poweredge) nebo HPE (proliant) a z 1000 serverů je tak 1 - 2 nefunkční, neděje se to vůbec často a řešíme ojediněle. Disky umírají častěji, ale opět i při chlazení vzduchem rozbité necháváme zapojené a vyměňují se až po více kusech, on je často výjezd do DC dražší než ztráta dvou disků.
-
To je starim. Disky umiraji dle planu ale to neni takovy problem. Jinak mame mix Dell,HP,Oracle a IBM. U malych systemu stari od par mesicu po 13 let. Mainframy i 20. Pocet nevim ted z hlavy ale kolem desitky tisic fyzickych stroju na jednom kontinente to bude. Zahrnuje i vlastni DC.
Umiraji pameti,radice,PCI bridge,CPU. Hodne Inteli ssd. Je to na ruzne strany. Treba starsi Rkove rady od dellu jsou nechutne drzaky.
Dily mame skladem a technici jsou v nekterych DC pravidelne kvuli ruznym pracem, v nekterych zas jednou za uhersky rok a dostat se tam neni jednoduche.Domnivam se ze za velkou poruchovosti u nas mohou nespolehlive dodavky elektriny v nekterych DC, cizi zavineni a caste prechody na zalozni zdroje. A take pri te velikosti DC se casto nekde neco odkouri a mohou byt mzikova prepeti/brownouty nebo na chvili upadne vetev. V US nejsou dodavky tak spolehlive jako v jinych castech sveta.
Nektery HW dost dobre nedava nedefinovane stavy. A cizi zavineni pri tom objemu praci nemohu vyloucit nikdy.27. 9. 2022, 17:02 editováno autorem komentáře
-
Budou pak mít ty umaštěné konektory dobrý kontakt?
Dokonce lepší než suché. Olej se vytlačí a zůstane kontakt kovu s kovem. Narozdíl od suchých konektorů tam nebude vrstva oxidů a jiných nečistot.
V průmyslu s korozivním prostředím se dokonce používají různé kontaktní oleje a vazelíny - které se natlačí právě do konektorů, aby bránily přístupu vzduchu nebo jiných plynů/par. Po vložení protikusu vazelína uhne a vytvoří se vzduchotěsný spoj.
-
Je to celé velmi zajímavé, ale moc se nepíše o případném znečištění oleje. Také když chci potopit nějaký server, tak se musí nějak dokonale očistit? Nějaký oplach? Může dojít k znečištění v důsledku nějaké poruchy? Například by buchnul nějaký elektrolyt?
Co mě psychicky přijde nejpodivnější je, že se potopí server se síťovou (živou) částí společně se základní deskou? Asi ne... Je to řešené odděleně? Zdroj do jedné lázně a kabely s provozními NN (+12V, +5V...) do vedlejší vany? To bude asi ten případ..
-
Olej je nevodivý a jeho dielektrická pevnosť je vyššia ako u vzduchu. Používa sa aj na izoláciu VN transformátorov.
https://cs.wikipedia.org/wiki/Dielektrick%C3%A1_pevnost -
Olej je v uzavřené nádobě. Servery před potopením vyčistíme vzduchem, případně testujeme určitou impregnaci, která má čistící účinek.
Měli jsme 3 testovací nádoby otevřené několik let a nikdy jsme nezaznamenali žádný problém. Finální verze má víko a tak se tam ani běžný prach nedostane.Olej má velmi vysokou izolační schopnost (nevede elektřinu) a tak by muselo dojít k obrovskému znečištění, aby se stal vodivým a tím problematickým.
Servery jsou potopené v oleji, včetně napájení. Takže v oleji je skutečně 230V ve zdrojích, potom tam máte 12 nebo 5V... v komponentách. Vše je ve společné lázni. Olej je nevodivý.
-
Díky za odpověď. Nedošlo mi, že v oběhu můžete mít ještě filtry, které případné nečistoty mohou zachycovat. Že se čistý olej používá jako izolant ve VN trafech vím, jen mi právě nebylo jasné, jak se chová znečištěný olej. Máte to již vyzkoušené, tak je to skvělé, že to lze.
Rotační pevné disky (HDD)? Ty asi každý potopit nelze, protože některé nejsou zcela hermetické? (Mají na vyrovnání tlaku dírku s filtračním labyrintem...) Ale ty heliové by asi šlo. Ty hermetické budou... Se SSD už je to v pohodě...
Takovéhle šetření se mi líbí. A je fajn, že pokud má olej až 58°C, tak je to celkem vysoko-potenciálové teplo, dobře použitelné dále na vytápění a ohřev TUV apod. -
V kazdem dnesnim aute je snad olejovy filtr. V kazde automaticke prevodovce taky. Slozite stroje jich maji i nekolik a nahradni obehy. Proc by nemel byt u takove slozite instalace?
Mozna je tu nekdo kdo dela velke transformatory s nucenym obehem a mohl by napsat jestli jsou take vybaveny filtry (nedivil bych se kdyby tam byl nejaky redundantni obehovy system). Zatim muj korporatni chlebodarce u malych a strednich traf bez nuceneho obehu dela filtraci jen jednou za cas a to jen nahradou/recyklaci v cisticim zarizeni mimo.
-
Tak vzhledem k tomu co vsechno museli udelat mi prijde filtrace oleje jako jen problem strceni kosticky do spravne diry.
Filtrace oleju(i tech specialnich/ viskoznich) je uz pul stoleti zvladnuta technologie. Neni problem vychytat kovove kousky magneticky a par mit soustavu filtru.
Dokonce muzete prefiltrovat/recyklovat napln jednou za cas dukladne a za provozu filtrovat jen magneticky a hrubymi filtry aby nedochazelo k prilis velkemu odporu pri obehu.
Nejaky tribotechnicky rozbor jako mate u vetsich stroju vam udela dnes taky kdekdo a stoji par supu.
-
A ako je to s plastami v oleji, z vlastnej skusenosti viem ze pvc v mineralnom oleji moc odolne nie je, za vyssej teploty to bude zrejme este horsie. Tym bude trpiet zrejme hlavne kabelaz. Elektroliticke kondenzatory, zatky na nich byvaju z gumy. Plus mnozstvo dalsich plastov roznych komponentoch. Btw, ako sa k reklamacii napr zdroja utopeneho v oleji maju vyrobcovia/dodavatelia?
27. 9. 2022, 11:21 editováno autorem komentáře
-
pokud jde o reklamace, často při větších objednávkách se to řeší tak, že vlastně ani výrobce nemusí dostat HW a nemusí ho ani posuzovat. Udělá se diagnostika, dodavatel má nějaké očekávané % poruchovosti a dokud je pod hranicí, neřeší se to, jakmile chytne hranici, občas má tendenci více HW prozkoumat. Aspoň v našem prostředí vidím, že panuje nějaká důvěra.
-
Adam KaliszStříbrný podporovatel
Kamarád mi jednou ukazoval fotky, že některé asi optické kabely Wedosu vedou prostě lesem mezi listím na zemi. To mi nepřijde moc bezpečné. Už má Wedos ty kabely uklizené?
-
Adam KaliszStříbrný podporovatel
Fotografie a další informace datované ~ září 2020 jsem zaslal včera Petru Krčmářovi. Ví, že se to tady rozebírá. Nechám na něm, jestli se k tomu vyjádří.
Mám rád, když lidi a firmy zkouší problémy prostě vyřešit a posouvat se. U infrastruktury je problém, že vše zařídit solidně je těžké a chápu, že se nikomu nechce kopat - třeba tam i ten metr naplánovaný byl, ale prostě to kopáči tak neudělali a nikdo to pořádně nezkontroloval. To se stane rychle. Vágní vyjádření umožňuje lidem z Wedosu jít a infrastrukturu si případně překontrolovat, podle fotografie by to mělo být kousek za plotem v lese. Asi není úplně super mít tu modrou chráničku/ modrý kabel takhle na očích.
Svému kamarádovi nemám důvod něvěřit, fotografie je zřetelná. Jako sesuv půdy to nevypadá, spíš se prostě někdo neobtěžoval mělce uložený kabel/ chráničku zasypat.
-
S tím dielektrickým olejem bude spojeno hodně moc problémů a v podstatě dosažená úspora ve spotřebě chlazení bude naopak proinvestována v nákladech na recyklaci a ekologickou likvidaci oleje. Taktéž náklady při poruše nebo údržbě budou vyšší (olej váže vlhkost a následné kaly budou ten problém). Další např. kacířská, a teoretická otázka, je: "jaký hasič, a nebo BOZP poučený zaměstnanec, strčí ruku do vany pod napětím do dielektrického oleje aby vyndal probíjející a jiskry sršící základní desku/server".
Jinak mne fascinuje že používají komerční servery (HP na snímcích). Měl jsem takový dojem, že úspor dosáhnu tím, že si nechám postavit server podle svého návrhu, který bude optimalizovaný na konkrétní provozní podmínky a výkonnostní požadavky. Tzn. např. základní deska bude zalitá do nějaké otestované a certifikované pryskyřice, samotný CPU a RAM je naletován, budou použity konkrétní pomocné čipy např. Intel LAN a naopak tam nebudou zbytečné čipy (audio, USB, SATA atd.), napájení nebude řešeno "potopeným" zdrojem AC230V nebo DC48V, ale připojeno na externí přímé např. DC12VO, periférie budou vyvedeny jako optika mimo prostor vany atd. -
Znám, ale vím taky že se odpojí celý daný okruh. tzn. každý server má svůj jistič/proudový chránič?
A nebo se odpojí celá vana?! A o tom mluvím. Místo výpadku jednoho serveru chlazeného vzduchem, bude výpadek celé vany ve které je 20 serverů. Tím pádem musím udržovat vyšší množství fyzických serverů které si s takovým to výpadkem poradí.
Ale to je taková akademická diskuze, snad tam používají servery na DC48V. -
Většina těch debat je tady o tom, že lidi neznají vlastnosti oleje a nechápou čím se liší do jiných médií.
Ten olej má trvanlivost a životnost desítky let. Sami ho používáme asi už osmý rok...
Vodu neabsorbuje.
Izolační vlastnosti jsou vynikající a je to mnohem bezpečnější, než třeba "vzduch", kde přeskočí jiskra.A tak by šlo pokračovat...
Ano, problémy tam jsou. Člověk je při manipulaci mastný. A potom "tvrdnou" některé kabely a pod "bužírkou" vzlíná olej. Nefungují některé druhy těsnění v potrubí...
-
Nechci vyhledávat aktuální typy Google, ale je to veřejná informace že Google má vlastní základní desky. Tuším že od Gigabytu.
Testování je ti k ničemu, pakliže ti výrobce nedá osvědčení o bezpečném používání v daném prostředí. Stejně to bude s ESČ. Např. každý rozvaděč musí mít zkoušku. To jsou takové detaily, které snad má Wedos vyřešené.
Silně pochybuji že od Dell a nebo HP získají certifikaci na provoz v oleji. Nejde vůbec o záruky, tady se na záruky nehraje, ale o to aby to náhodou někoho nezabilo a to je pak blbá reference a reklama pro ty globální firmy.https://www.theguardian.com/technology/blog/2009/apr/02/google-server-secrets
https://www.google.com/imgres?imgurl=https%3A%2F%2Fgreaky.files.wordpress.com%2F2009%2F05%2Fgoogle_server.jpg&imgrefurl=https%3A%2F%2Fgreaky.wordpress.com%2F2009%2F05%2F05%2Fgoogle-servers%2F&tbnid=KQm-5VsZFU3YuM&vet=12ahUKEwj2zuOChLX6AhXIOuwKHQ1bA8UQxiAoAXoECAAQFw..i&docid=BtArRSMLlRyagM&w=450&h=338&itg=1&q=google%20datacenter%20computer&hl=cs&ved=2ahUKEwj2zuOChLX6AhXIOuwKHQ1bA8UQxiAoAXoECAAQFw -
Srovnavat firmu velikosti Googlu lze tak snad leda s Metou nebo asi s Microsoftem, ale ne s Wedosem. Takze zpatky a plati opet uspora z rozsahu pri vyrobe a pouziti bezne dostupnych systemu.
Ad zkousky bezpecneho provozu - ty si wedos muze udelat taky, na to nepotrebuje HP. Navic staci testovaci misto omezit pro volny pristup, oznacit to jako vyvojove pracoviste a s potrebnosti zkousek jsme pak uplne jinde.
-
Dobrý den,
věděl by někdo, jakou formou - konkrétně je v současnosti likvidováno teplo? V článku je napsáno, že potenciálně může být využito k vytápění domů, ale jak je to doopravdy?Máte smlouvy s odběrately v Hluboké a okolí, či vytápíte pouze své provozní budovy, a co se s přebytky tepla dělá v letních měsících?
Děkuji
-
No to je prave ten kamen urazu - vsechno teplo se obvykle fouka panubohu do oken. Tady neco o tematu od googlu - PUE sice maji male, ale teplo jde do okolniho vzduchu:
"...Our data centers use much less energy than the typical data center. We raise the temperature to 80°F, use outside air for cooling, and build custom servers. ..." 80 degF ~=27 degC.
https://www.google.com/about/datacenters/efficiency/ -
Požární bezpečnost je mnohem vyšší, než u vzduchového chlazení. U vzduchem chlazených datacenter se požár šíří extrémně rychle, protože tam proudí vzduch, který požár pomáhá šířit a vhání tam kyslík...
V oleji kyslík není. Naše nádrže jsou uzavřené.
Olej je ve IV. třídě hořlavosti kapalin a potom už jsou prakticky nehořlavé kapaliny...
Máme tam detekci požáru, máme tam automatický hasící systém.
Vše je dělané na minimálně 90 minut (většina věcí na 120) a víc požární odolnosti.
Nepoužíváme žádné hořlavé komponenty. Například máme páteřní rozvod elektřiny přes přípojnicový systém, všechny kabely jsou nehořlavé (a "nekouřící" a samozhášecí). Například i světla jsou kovová a se sklem (není tam plast).
A tak bychom mohli pokračovat..., ale tohle jsou všechno věci, které nejsou běžné...A na konci skončíme s tím, že v datacentru bude dusíková atmosféra = snížený obsah kyslíku na 15% a tím prakticky zamezíme hoření.
-
Dobrý den,
pamatuji si starší článek před lety, kde se chlazení olejem ve Wedosu zmiňovalo. Ptal jsem se tehdy na druh oleje. Bylo mi řečeno, že je to zatím interní informace, která se ale pravděpodobně brzy zveřejní.Můžete typ oleje zveřejnit? Pro domácí počítače již delší dobu používám plně pasivní chlazení, a olej mě zaujal už poprvé, kdy se zmiňoval. Díky
-
Wedos neni samozrejme jedina firma ktera se snazi mit servery v oleji, tady v US je tech firem vicero. Ze o tom Wedos nevi nebo ze dela z pouziteho oleje neco tajneho… Bezne se pouzivaji mineralni oleje, treba tenhle https://store.steoil.com/2-gallons-submerged-mineral-oil-pc/
Pred 10-15ti lety bylo tady vicero projektu kde si lidi davali sve PC do oleje ale pro pouziti doma je s tim vice prace nez co to prinese, pro nove DC to muze byt zajimave ale obvykle narazite na zaruky od dodavatelu - nikdo netestuje servery v oleji, nikdo nic negarantuje kdyz je to v oleji, tudiz vlastnici DC nemaji moc zajem setrit penize kdyz je ve finale stejne zaplati zakaznici (a zakaznikum je to jedno).
Osobni zkusenost s nekolika PC v oleji mam, ventilatory odpojit muzete, nemusite, budou se klidne tocit i v oleji, guma ktera se v oleji ma rozpadnout se mi ani po 3 letech provozu 24/7 nerozpadla,… nejvetsi komplikaci jsem videl v pripojovani cehokoliv, vse od oleje. Da se to resit ruznymi prechodkami/spojkami ale nikdo to nedizajnuje na vodo/olejotesnost tudiz je s tim prace aby to nikde neteklo… Wedos jde na to dobre, proc jim to trva 10+ let nevim a vzhledem k tomu ze je nepouzivam je mi fuk kde topi penize… -
A to se wedosu vyplatí vynalézat kolo, když už cca 10 let existuje hotové řešení? https://www.grcooling.com/
ČLÁNKY DO MAILU
