Páteřní switche
Všechny páteřní metalické a optické kabely máme zavedené ve žlabech nad racky, a tak přišly na řadu nové páteřní switche, jejich testování a oživování vůči jednotlivým access switchům.
Jako páteřní switche zde používáme dva Juniper QFX5200 obsahující 32× 10/25/40/50/100GbE QSFP+ portů, které jsou zapojené ve virtual chassis pomocí 100G DAC kabelů (dále VC porty). Jednotlivé access switche (v každém racku jsou samozřejmě dva) jsou s páteřními switchi propojeny dvěma MTP-MTP, MM, OM4 optickými patchordy, pomocí 100G QSFP28 SR transceiverů.
Do páteřních switchů bude současně přímo připojeno produkční prostředí registru FRED, služby mojeID a DNS infrastruktury. To zajistíme pomocí tzv. break-out kabelů a ODF, kdy z každého portu na switchi osazeného 40G QSFP+ transceiverem „rozpleteme“ 4× 10Gbit uplinky k jednotlivým serverům.
Jak probíhalo testování páteřních switchů?
Obě QFXka jsme propojili port-channelem s LACP (dále ae interface), 2×10G s využitím 2×40G QSFP+ PLR, 2× LR rozplet 40G na 4×10G a 2× SFP+ LR se switchem Juniper EX3300. Na switchi jsme nastavili dvě testovací VLANy a dva access porty, jeden do každé z VLAN pro testování dostupnosti zařízení v případě upgrade SW, přepínání master/backup a změn v STP.
Pomocí dvou notebooků, dvou VLAN se dvěma různými subnety, zmíněného switche EX3300 s 2× 10G interfacy do QFX switchů a IRB interface na QFX jsme provedli níže uvedené testy a upgrade na poslední doporučenou verzi JUNOS. Na switchích bylo nastavené MSTP a porty k notebookům byly nastaveny jako EDGE. Při testech jsme posílali ping mezi oběma notebooky a zároveň na bránu (IRB interface v dané VLAN na QFX).
Ukázka z testování páteřních switchů
Upgrade SW jsme provedli nejdříve na backup instanci QFX, poté na master a to bez NSSU. Switch se během upgrade dvakrát restartoval, následně nastartoval do master stavu ve virtual chassis. V tu chvíli byly aktivní dva master switche a nefungoval mezi nimi VC porty. Switch EX3300 měl interface ae ve stavu UP, ale backup QFX switch viděl na své straně porty ve stavu DOWN, dokud nebyl proveden restart master instance. Reálně byl tedy dopad minimální, neboť měl switch EX3300 stále funkční uplink. Při restartu původního QFX master převzal ae interface původní QFX backup a vygenerovala se spanningtree TC. Edge porty to neovlivnilo, takže se vždy ztratily asi tři pingy v intervalu jedna sekunda.
Přepnutí master QFX instance tedy neznamenalo žádný ztracený ping, vypnutí celého master i backup switche také ne. Dále jsme zkoušeli postupné fyzické vytažení kabelů k virtual chassis portům, vždy bez výpadku. Samozřejmě jsme otestovali i kompletní rozpojení všech VC portů, což byl z pohledu dopadu na připojená zařízení nejhorší scénář. V tomto případě switch EX3300 udržel ae interface proti oběma switchům, reálně však ale fungoval jen ping v rámci daného subnetu. Oba QFX switche se tvářily jako master instance. A po opětovném zapojení jednoho z virtual chassis portů dokonce došlo k výpadku jednoho z ae portu na původním QFX backupu.
Ukázka vybavení páteřního racku
Vypnutí a současné zapnutí obou QFX switchů (odpojením napájení) znamenalo vyčkat, než nastartují do stavu, kdy si mezi sebou vybraly virtual chassis mastera. Ping následně fungoval v rámci VLAN i mezi nimi, ale QFX backup měl ještě po chvíli vypnuté porty. Dle očekávání odpojení jednoho z portů vedoucím do EX3300 neznamenalo žádný výpadek.
Dále jsme ještě testovali konfiguraci QFX a switchů Nexus řady 9300 s 48× 1/10/25G SFP+ a 6× 40/100G QSFP28 uplink porty. Jednotlivé testování již jen v bodech
- interface s trunkem a nativní VLAN
- interface s trunkem a MSTP
- interface s Q-in-Q
- L3 interface
- mirroring port
- dva různé STP regiony a Q-in-Q
Oživení privátního sálu
Páteřní switche a hlavní switch pro management (zatím jeden) jsme oproti původnímu umístění v racku posunuli těsně nad sebe a 2U vyvazovací panely umístili nad a pod switche. A to z prostého důvodu, že se lépe manipuluje s transceivery a patchordy. Z kabelovny máme do páteřní ODF přivedené čtyři 12vláknové kabely, ze kterých jsme zatím použili 2× dvě vlákna pro propoj mezi současnou lokalitou. Ty jsme propatchovali do obou páteřních switchů na 10Gbitu a po rozsvícení LINKu na obou portech jsme mohli začít stěhovat servery. Ale o tom až zase příště.
(Napsáno původně pro blog CZ.NIC.)
ČLÁNKY DO MAILU