V prvním a druhém díle seriálu o upgrade DNS infrastruktury jsem představil koncept DNS stacků a první implementaci ISP DNS stacků u poskytovatelů internetového připojení. Dnešní díl se zaměří na jednu z časově nejnáročnějších částí celé realizace – výběrová řízení na 100GE router, switche, servery a jejich následnou logistiku do datacentra.
Výběrová řízení a nákupy hardware
Výběrová řízení jsme rozdělili na dvě skupiny. První na dodávku routerů a management switchů, druhou na dodávku serverů. Poptávali jsme tedy 100GE router pro velký DNS stack, dva management switche a celkem 31 serverů.
Dodavatelům jsme zaslali seznam požadovaných technických parametrů a pro obě výběrová řízení jsme předem stanovili stejná hodnotící kritéria.
Celkem jsme stanovili 11 hodnotících kritérií, např. cena a cena za support, splnění technických parametrů, rozsah a kvalita supportu, reference, dopad na provozní náklady apod. Ke každému kritériu jsme vyplnili hodnoty 1–5, jako ve škole, kdy 1 je nejlepší. Současně každé kritérium mělo stanovenou váhu v procentech tak, aby celkový součet všech vah byl 100 %.
Nejvyšší váha nebyla stanovena k ceně, ale k technickým parametrům. Pro jejich vyhodnocení jsme měli připravenou ještě další tabulku, která obsahovala jednotlivé parametry a také jejich váhu v rozmezí 1 až 4, která určovala jejich důležitost. Ke každé položce jsme vždy vyplnili buď „1 – splňuje zadání“ nebo „0 – nesplňuje zadání“. Nakonec se na základě váhy vypočítal celkový součet a převedl na známku 1–5, pro doplnění do hlavní hodnotící tabulky. V případě routerů jsme takto hodnotili 21 technických parametrů.
Všechny dodavatele jsme vyzvali do stanoveného data k zaslání nabídek, následně byl prostor k osobním prezentacím navrženého řešení a další konzultace.
Routery
Oslovili jsme pět dodavatelů, řazeno abecedně: Alcatel-Lucent Czech s.r.o. (Alcatel-Lucent/Nokia), Alef Nula a.s. (Cisco), Comguard s.r.o. (Brocade), Comsource s.r.o. (Juniper), Huatech a.s. (Huawei).
Hlavními požadovanými technickými parametry routerů byly: plná podpora IPv4+IPv6, IRB, OSPFv2/v3, L3 subinterface, ACL aplikované na L3 porty, subinterface a IRB, BGP dle RFC, NetFlow9/IPFIX, PPS – linerate kapacita fyz. rozhraní nezávislá na velikosti ethernetového rámce a linerate kapacita při filtrování. Dále ECMP s podporou minimálně 32 cest, transceivery QSFP28 pro 100GE a SFP+ pro 10GE (případně ekvivalentní), redundantní Control Plane, oddělený Forwarding Plane a podporu ISSU.
Vzhledem k uvažovanému počtu serverů měl 100GE router obsahovat alespoň dva 100Gb porty a alespoň 34 10Gb portů.
Obdrželi jsme nabídky těchto 100GE routerů:
- Nokia 7750 SR-7,
- Cisco ASR9904,
- varianta č.1 s tzv. „rozpletem“ z 100Gb portů na 10Gb porty,
- varianta č. 2 s požadovaným počtem 10Gb portů,
- Brocade MLXe-4,
- Juniper MX240 ve variantě s tzv. „rozpletem“ z 40Gb portů na 10Gb porty,
- Huawei NE40-X3A.
V užším výběru jsme se rozhodovali mezi routery Cisco ASR9904 ve variantě č. 2 a Juniper MX240. Oba routery nejlépe splňovaly naše kritéria, hlavní rozdíl mezi nimi byl v použití tzv. „rozpletu“ 40Gb portů na 4×10Gb v případě Juniperu a ve velikosti U. Router MX240 zabírá 5U, kdežto ASR9904 o jedno U více.
Vítězem se stal router Juniper MX240 díky nižší ceně a také kvůli velikosti. Velikost 5U nebo 6U není na první pohled zásadním kritériem. Potřebovali jsme do 42U racku umístit 31 serverů, dva switche, ODF a mít prostor i na vedení kabeláže. Router o velikosti 5U byla v tomto případě optimální varianta.
Díky výběrovému řízení jsme získali přijatelné podmínky pro obě řešení, které nejlépe splňovala naše kritéria. I v tomto projektu dbáme na dodržení diverzity HW a je tedy možné, že plánovaný druhý Velký DNS stack bude realizován právě s routerem ASR9904 v revidované konfiguraci.
Management switche
Management switche byly poptávány společně s routery. Hlavními požadovanými technickými parametry management switchů byly: velikost 1U, přenosová rychlost 10Gb, 48 1Gb portů a čtyři 10Gb porty, redundantní zdroje a back-to-front air flow.
Tyto technické parametry nejsou v ničem specifické nebo neobvyklé, všichni dodavatelé nabídli velice srovnatelné modely. Jednalo se o:
- Nokia 7210 48T,
- Nexus 3048TP-1GE,
- Brocade ICX7450–48,
- Juniper EX3400–48T-AFI,
- Huawei CloudEngine 5800 TOR.
Vzhledem k výběru routeru od Juniper bylo logickým krokem zvolit switche od stejného dodavatele. Vybrali jsme tedy switche Juniper EX3400–48T-AFI.
Servery
V případě serverů jsme oslovili čtyři dodavatele, řazeno abecedně: Abacus (SuperMicro), Autocont (Dell), Hewlett Packard Enterprise (HPE) a Tecom (Intel).
Hlavními požadovanými technickými parametry serverů byly: velikost serveru 1U s 2,5" disky, redundantní zdroje, HW diskový řadič s cache, Intel platforma, support next business day, remote management s podporou HTML5 nebo Java a 10G SFP+ síťové karty Intel řady X710. Tyto karty jsme vybrali na základě zkušeností kolegů z vývojového týmu Knot DNS a jejich provedených výkonnostních testů.
Všichni dodavatelé serverů nabídli velice srovnatelné parametry a komponenty, rozhodovali jsme se primárně na základě ceny. Vybrali jsme servery Dell, konkrétně v provedení PowerEdge R430.
Dodání a uskladnění HW
Doručit a dočasně uskladnit jeden router a dva switche pro prvotní konfiguraci před umístěním v datacentru není žádný problém. Ale 31 serverů? Jeden zabalený server má přibližné rozměry 85×60×25 cm a váží přibližně 20 kg. Pokud bychom si je nechali všechny doručit na svou adresu, zaplnili bychom tak podstatnou část skladu a komplikovaně bychom je poté převáželi do datacentra. Nejvhodnější bylo tedy doručit servery přímo do datacentra, kde jsme domluvili vlastní uzamykatelnou místnost nedaleko nájezdové rampy do sálu a dodavatele požádali o doručení přímo tam.
Neobešlo se to však bez menších komplikací. Dodávka všech serverů byla rozdělena na tři části a doručována ve třech dnech, z toho jednou chybně na naši adresu. Naštěstí se datacentrum, ve kterém jsme se rozhodli první velký DNS stack zprovoznit, nachází nedaleko a kurýr ochotně servery převezl.
V dalších dílech se můžete těšit na zkušenosti s přípravou zázemí v datacentru a uvedením do provozu.
(Původně napsáno pro blog CZ.NIC.)
