Názory k článku Seznam staví vlastní servery, je to levnější, říká Vlastimil Pečínka

Škoda, škoda... veřejný cloud od seznamu v Praze s konkurence schopnou cenovkou by byl zajímavý. Další velká škoda ten hardware. Zrovna ty ARM+disk servery by se mi hodily (Ceph). Jediná podobná varianta, o které vím, je https://www.ambedded.com/ARM_Server_platform.html.

Rozhovor je super. Je vcelku pravděpodobně, že než se jim podaří infrastrukturu sjednotit pod ten jejich SCIF, tak se objeví zas něco jiného :-)

Ty vlastní racky máte moc pěkné, kabely čistě vedené a že se vám mezi ně vejdou zdroje je bomba!

Rovněž dělat vlastní ARM logiku nad disky je super, to slyším prvně, nepoužívám objekty na tak nízké úrovni. Byla by nějaká fotka plošňáku a jak to vypadá a napájí se to? Teď mě napadá, že fotka byla ale ne plně osazená všemi SSD... A rovněž napájecí konektor z reprobeden pro napájení při vytažení je skvělý nápad, je to dobré a osvědčené řešení na velké prody.

Fakt dobrý článek, mám ze Seznamu radost. Nepoužívám váš email ani vyhledávač, mapy jsou skvělé, ale oproti tomu SW i HW bastlu, co předvádí např jeden z hlavních obchodů typu HW mimo a databáze na MSSQL jse o dvě třídy jinde!

Zde https://imgur.com/a/rjaFj97 jsem, nahrál pro zvědavce nějaké další fotky. Napájí se to 12V stejně jako naše standardní x86 servery. Spotřeba vychází maximálně 15W / server včetně 4TB SSD při plné zátěži. Oproti jiným dostupným řešením, která jsou postavené většinou na ARM A53 využívá naše řešení 4x A72, protože při migraci dat potřebujeme i dostatečnou výkonnost procesoru (test integrity, komprese, počítání hashů, apod.)

Díky, to jsem přesně chtěl vidět.

Na té desce s SSD vidím paměti a nějaký procák (A72?) a pak je to propojené tištáky s hlavní deskou (fakt zajímavé řešení oproti kabelům) a na hlavní desce s napájecím konektorem jsou další čtyři čipy.

Kde je tedy logika? Čekal bych, že bude jak píšete A72 přímo na desce s SSD, co je pak na té velké desce s napájením a co přesně na té desce s disky?

Na té desce s SSD (nezýváme ji DH) je CPU MArvel Armada 7040, 4GB ECC RAM, a malinký Arm od ST zajišťující remote management a powerup sekvence pro hlavní CPU.
Hlavní deska - jak nazývate je v podstatě hloupý switch, který agreguje 8x 1GB konektovitu na jeden 10GBit interface. Dále je na desce switche i ARM F7 CPU od ST pro managemt switche a pro zpřistupnění managementu jednotlivých DH. V současnosti pracujeme na implementaci RedFishe. Těch čipů je tam více (jedná se o ethernetové phy), protože jsme se rozhodli použít SGMI namísto fyzické vrstvy ethernetu. Ušetřili jsme tím magnetické transformátory a podobné věci, které na klasickém ethernetu jsou. Cenou za to nutnost použit přesně impedančně přizpůsobené vedení, což díky probojovacím deskám není problém.
Propojovací desky (my je interně zveme bidýlka) navíc umožňují jednoduchou výměnu serveru za provozu.

Tak proto ty tištáky :), já si říkal, proč nepoužíváte kabely, že to impedančně ladíte mě nenapadlo :).

Fakt zajímavé řešení!

Díky za vysvětlení.

Super, zejména část ohledně stavby vlastních serverů mě chytla. Je užitečné podívat se i na řešení problémů s kterými se asi nikdy na vlastní kůži nesetkám.
Dík.

Staci chodit do nektereho z cz/sk hackerspacu. Ze to Seznam delal za zavrenymi dvermi ted, neznamena, ze to tak chteji delat vsichni - a nakonec, ze to tak bude delat Seznam navzdycky, zejo ;)

Dovolil bych si tvrzení lehce poupravit. Děláme to sice obrazně "ve vlastních místnostech", ale ne za zavřenými dveřmi. Informace jsme ochotni poskytnout, dokonce jsme se snažili komunitě nabídnout prototypy za cenu pouze výrobních nákladů, aby nám komunita pomohla s odchytáváním chyb. Nemáme sice ambice to prodávat na veřejnosti ve velkém (alespoň zatím), ale v rámci spolupráce si dovedu představit model, že zájemci poskytneme vyrobní podklady. Chceme se však vyvarovat operativy ohledně záruky, podpory a podobných věcí.

Aha, tak to mne minulo, coz je skoda, ale jeste by to mozna slo dohnat? :)

Dalo by se odkoupit dva tri kusy na hrani?

Zaruku resit urcite nechci, stejne na tom pajeno a hackovano, od ceho jsou prototypy, nez na hrani...

Chtel bych si s tim Marvellem pohrat a srovnat to s QorIQ LS1028A od NXP, ze vsech stran. Na Marvellu mne puvodne odradilo, ze se neni az tak jednoduche s nimi zacit bavit a dostat se k dokumentaci, NXP je podstatne otevrenejsi.

No jo, nějak mě nenapadlo zapadnou na našem venkově do nějakého z desítek hackerspaců :-/

Ve clanku je zmineny, ze jde u intel SSD rekonfigurovat overprovisioning na vybalancovani zivotnosti s kapacitou. Docela me to zaujalo. A ukazalo se, ze to neni tajemstvi, ktery by umel jen Seznam. Zkousel jsem to googlit a jde to i pomoci hdparmu.

https://forums.intel.com/s/question/0D50P0000490NYASA2/help-needed-in-over-provisioning-a-new-600p?language=en_US

Je potreba to delat na novym SSD, nebo na SSD, ktery bylo nizkourovnove smazany nejakym specialnim intel ssd toolboxem. http://www.intel.com/go/ssdtoolbox Ztrata dat je zarucena.

Porom se pouzije hdparm s parametrem -Np

Use the ATA standard SET MAX ADDRESS command to limit the user accessible capacity of an SSD. This feature, also referred to as Host Protected Area (HPA) in Linux*, can also be modified using the https://sourceforge.net/projects/hdparm/ hdparm* utility with -Np command, or the http://www.hdat2.com/ HDAT2* utility under DOS. Note that this method will change the drive capacity reported to the user through various utilities.

https://www.thomas-krenn.com/en/wiki/SSD_Over-provisioning_using_hdparm