Proč být sám sobě poskytovatelem?
Příběh začíná letos na jaře. V sérii dvou za sebou jdoucích degradací kvality přenosu v síti, které nastaly v obou našich datacentrech, jsme měli podezření na problém v infrastruktuře dodavatele, který však nic na své straně neidentifikoval. Hlavně kvůli dočasnosti problémů jsme však neměli dostatek jednoznačných ukazatelů, které by dokázaly kvalifikovaně ukázat, kde se problém vyskytl. Uvědomili jsme si, co jsme už nějakou dobu tušili, a sice, že jsme výrazně závislí na jednom poskytovateli.
Po několika diskuzích jsme si rozkreslili jednotlivé možnosti zlepšení. Jednoznačně vítězným návrhem se stalo propojení s více ISP, a to ideálně prostřednictvím jednoho z peeringových center. Toto by nám umožnilo jednak přesměrovávat provoz mezi různými propoji v případě výskytu problémů, a také optimalizovat tok dat do a z naší sítě v běžném provozu a zátěž v případě potřeby rozkládat.
Historicky jsme už jako výsledek dohody používali BGP pro přepínání provozu v síti i vzhledem ke koncovým zákazníkům. Na technické úrovni směrování jsme tak v podstatě byli na multihoming připraveni a architektonicky jsme tak jako samostatný ostrůvek v internetu fungovat dokázali.
Protože jsme v posledních letech začali výrazně expandovat do zahraničí, začali jsme zároveň stále více řešit problematiku konektivity s různými dalšími zeměmi. Jako poskytovatel hlasových služeb, které jsou velice náchylné na jakoukoliv degradaci kvality přenosu dat, jsme se v poměrně značné míře setkávali s problémy při transferu v mezinárodním propoji.
Zejména jsme toto zaznamenávali například u zákazníků ve Velké Británii, kde jsme se v předchozí době rozhodli zřídit poměrně drahý soukromý L2 propoj. Otevírání dalších evropských trhů nás však utvrdilo v tom, že toto bude pravděpodobně jedna z technologicky složitějších a dražších variant, zejména s ohledem na to, že v koncové lokalitě musíme zároveň provozovat další technologii ve vzdáleném datovém centru.
Jak si zařídit vlastní ASN
Pro účely celoevropského poskytování konektivity k našim zákazníkům jsme s cílem objednat soukromou tranzitní infrastrukturu od poskytovatele třetí strany provedli analýzu trhu a našich možností. Jako nejvhodnější se ukázalo využití služby jedné z celosvětově známých CDN (Content Delivery Network) CloudFlare Magic Transit, která poskytuje jako součást anti-DDoS ochrany soukromou tranzitní síť v internetu.
V praxi existuje takřka v každé zemi hraniční bod, který slouží jako vstupní brána do této soukromé síťové domény, data jsou přenesena komplexní strukturou jednotlivých síťových propojů a vystupují v jednom českém datacentru, odkud si lze provoz přebírat soukromým optickým propojem nebo pomocí GRE tunelu.
Pomocí BGP jsou pak ve všech koncových lokalitách přidělené bloky anycastem propagovány, takže se provoz z celého světa na danou IP adresu stahuje k nejbližšímu hraničnímu vstupnímu bodu. Požadavkem celé služby však je, stejně jako v případě provozování dynamického směrování různými propoji s ISP, přidělení ASN (Autonomous System Number, číslo autonomního systému) a vlastní rozsahy IP. Bylo tedy nutné se stát autonomním systémem registrovaným u příslušných autorit.
Jedním z pěti internetových RIR (Regional Internet Registry), který se stará o správu evropské části, je RIPE NCC. Registrace autonomního systému v praxi znamená stát se jeho členem. Vzhledem k tomu, že se jedná v podstatě o veřejnou organizaci, jsou veškeré informace transparentně dostupné online. Přihlášení k členství stojí aktuálně 1400 eur, což je zároveň poplatek hrazený na pravidelné roční bázi.
Registrace a ověření společnosti probíhá kompletně online za pomoci dokumentů, které jsou veřejně dostupné. Po dokončení procesu a úhradě členského poplatku jsme v řádu několika dní obdrželi dostatečný přístup do takzvaného „Portálu LIR“, který slouží pro správu veškerých přidělených zdrojů.
Dalším nezbytným krokem byla žádost o přidělení ASN. Pokud žádáte o standardní 32bitové číslo, nejedná se o vzácný zdroj a tím pádem vůbec žádný problém vyřízení prakticky obratem do druhého dne. Vzhledem k tomu, že IPv6 je dostatek, po podání žádosti v portálu nám byl přidělen rozsah /29. U IPv4 to tak vůbec jednoduché není.
Nákup IPv4 adres
S ohledem na to, že volné IPv4 adresy jsou již pár let vyčerpány, přiděluje RIPE NCC tyto zdroje dalším členům pouze ze zásob, které jsou z různých důvodů jednotlivými členy vraceny. Pro tento účel vede takzvaý „IPv4 Waiting List“, na němž jsme se ze začátku nacházeli na přibližně 500. místě a po půl roce jsme se posunuli na něco málo přes 300. pozici. Celkově je dnes na seznamu téměř 1000 žádostí. Prakticky se moc ani nedá odhadovat, kdy na vás přijde řada, takže tato cesta získání vlastního bloku se ukázala jako nerealistická a neakceptovatelně zdlouhavá.
Z těchto důvodů působí na trhu poměrně velké množství brokerů, kteří zajišťují přeprodej nevyužívaných bloků, a to například formou aukce. Tržní cena jedné IPv4 adresy se pohybuje okolo 50 dolarů, tedy cca 300 000 korun za blok /24. Jiná cesta v podstatě nebyla, pronájem bloku se ukázal jako nerentabilní, takže jsme zvolili nejdůvěryhodněji vypadající službu a dva takové bloky pořídili.
V praxi probíhá proces tak, že na aukční platformě provedete nákup, peníze složíte do služby escrow (prostředník, který uvolní finance po dokončení transakce), online podepíšete převodní dokumenty a zhruba během týdne až dvou jednotlivé bloky najdete ve své administraci v portálu LIR.
Propojujeme se se světem
Virtuální zdroje tak máme k dispozici, dál bylo potřeba se propojit ještě fyzicky. První krok byla dohoda se současným poskytovatelem o akceptaci a další propagaci našich nově přidělených IPv4 zdrojů. Dalším krokem bylo zřízení druhého (a potenciálně třetího) propoje, do něhož budeme moct pomocí oznámení BGP propagovat routy. Na stole bylo využití komerčního poskytovatele, který spoustu technické agendy vyřeší za nás. Ovšem vzhledem ke kompetencím, které si dnes udržujeme in-house, a technické infrastruktuře, jsme se rozhodli jít cestou propojení se v peeringovém centru.
Vybrali jsme si jedno z největších v Česku a zažádali o připojení. Velkou výhodou při výběru byla přítomnost kolokace ve stejném datovém centru. Cena za propoj se pohybuje v řádech nižších tisíců korun a dále se platí za využívané pásmo. Jako záložní varianta jde o cenově naprosto ideální řešení, nicméně propoj je vhodné využívat i pro optimalizaci datového toku od poskytovatelů, kteří se v tomto peeringu také propojují, a to při v podstatě marginálních nákladech.
Co se týče globálního provozu, s poskytovatelem tranzitní sítě jsme bohužel nesdíleli žádné datové centrum, a museli jsme tedy pořídit soukromý optický propoj, který znatelně navýšil náklady projektu. Jako záložní řešení jsme v této části architektury zvolili sestavení tunelu GRE.
Celému procesu předcházelo ověření vlastnictví ASN a autorizace jednoho z IP segmentů. Pro oddělení CZ/SK domény od globálního provozu jsme se rozhodli používat jeden blok pouze pro účely tranzitní sítě a jako zálohu ho propagujeme v peeringovém centru, druhý blok pak primárně u současného hlavního poskytovatele a sekundárně také v peeringovém centru.
Máme svobodu a nezávislost
V nové architektuře jsme se zbavili zejména závislosti na jediném poskytovateli a v případě výskytu problémů jsme schopni prakticky okamžitě provoz celosvětově přesměrovávat mezi jednotlivými propoji. Výsledkem přibližně tříměsíčního projektu je poměrně zásadní navýšení úrovně samostatnosti naší infrastruktury a privátního cloudu, a to při relativně nepodstatném navýšení nákladů.
Vzhledem k tomu, že výsledkem projektu je pořízení kompletně nových rozsahů IPv4, budeme se ještě několik dalších měsíců věnovat nelehkému přeadresování celého našeho privátního cloudu. Z dosavadního provozu jsme již schopni zároveň vyvodit, že zejména implementace globální privátní tranzitní sítě výrazně zlepšila kvalitu služeb v reálném čase. Přenos hlasu je totiž výrazně závislý ani ne tak na odezvě, jako spíše na její stálosti. V posledních dnech tak například testujeme možnosti poskytování služeb z Prahy pro oblast Latinské Ameriky.
Diagram naší současné síťové infrastruktury
ČLÁNKY DO MAILU