Na návštěvě v síťovém srdci sdružení CESNET

Sdružení CESNET sídlí především v Zikově ulici v Dejvicích. Když vystoupíte z metra směrem k vysokým školám, je to hned ta velká rohová budova před vámi. Tam ve třetím patře pracují lidé, kteří se starají o síť a její služby. Zároveň je tu ale srdce celé sítě, dva sály se servery, routery, switchi a především optickými kabely.

U vchodu si nás vyzvedne Tomáš Košňar, který se zabývá monitoringem infrastruktury celé sítě.  Tohle je budova, do které před třiadvaceti lety vedla první česká přípojka do internetu, říká nám na začátku a dodává, že právě proto se v budově setkávají linky všech velkých operátorů. Jde o jeden z nejstarších českých infrastrukturních uzlů. Postupně sem byla přiváděna optická vlákna všech důležitých sítí.

Čtěte: První kroky československého internetu

Jdeme řadou klikatých chodeb až ke dveřím do sálu. Jde o poměrně malou místnost nacpanou racky. Právě tady se setkávají jednotlivé linky. Routování do páteřní sítě tu zajišťuje velký router Cisco CRS. Kromě klasických operátorských tras tu fyzicky končí infrastruktura panevropské výzkumné sítě GÉANT. Ta je připojena routerem Juniper MX960, ukazuje nám další router a dodává, že přímo přes tuhle uličku vede propoj z evropské sítě do CESNET2.

Komunita založená na důvěře

GÉANT umožňuje nejen klasické IP spojení do sítě, ale zároveň je možné přes něj vytvářet dedikované linky kamkoliv po světě. V současné době máme 30Gbit propoj čistě pro IP a řadu dalších 10GE linek pro různé další služby. Například čeští částicoví fyzici mají přes nás nataženou linku k síti urychlovače v CERNu. Tyto linky běží zpravidla jako „vlna“, nad kterou je vytvořen pseudo ethernetový kanál.

CESNET je tu především pro potřeby vědecké a výzkumné komunity, která má svá specifika. Poměrně malá skupina uživatelů tu potřebuje extrémní množství zdrojů, navíc skokově, nikoliv s plynulým náběhem, vysvětluje nám Tomáš Košňar. Navíc je to skupina specificky uspořádaná, která je organizovaná do hierarchického systému identit, které vytvářejí federaci. Podobnou situaci běžně v jiných sítích nenajdete.

Také proto je CESNET poměrně hodně vzdálen tomu, co známe jako běžného poskytovatele připojení k internetu. Každá univerzita provozuje vlastní systém identit, který je propojen do jednoho společného systému na základě důvěry, vysvětluje Košňar systém provozovaný pod značkou eduID.cz a postavený nad otevřeným standardem SAML. Pro nás jsou pak zásadní informace o tom, ze které univerzity pochází, jaké služby může používat a že má právo se k nám připojit. Jsme společenství jednotlivých sítí, které by samy o sobě mohly svou velikostí připomínat velkého poskytovatele připojení. Zajímavé je, že i přes rozsáhlost a autonomii jednotlivých sítí funguje CESNET jako jeden celek. Je to opravdu komunitní záležitost.

Síťová infrastruktura v kostce

Z hlediska infrastruktury musí CESNET nabízet maximální množství aktuálně dostupné kapacity. Naše uživatelská komunita potřebuje hodně volného pásma, protože běžně potřebuje skokově zvýšit několikanásobně datový tok. Běžně tu pozorujeme skoky z nuly na 7 nebo 8 gigabitů. Proto je naše páteřní síť postavená na 100 gigabitech, vysvětluje Tomáš Košňar. Jako příklad uvádí data generovaná DNA sekvenátory, které dokáží při jednom experimentu vygenerovat více než 200 TB dat. Ta je potřeba přesunout na nějaké úložiště, pak někde jinde proběhnou výpočty a výsledkem je 20 až 30 TB dat, která se opět někam přenáší. Tohle je specifický provoz, který je ale v naší síti poměrně běžný.

Zároveň jsou důležitou složkou redundance a flexibilita. Tradiční sdílené prostředí nám často nestačí, takže musíme vytvářet point-to-point spoje na různých úrovních. Z různých míst po České republice na různá místa po celém světě. Některá taková spojení jsou dočasná, jiná provozujeme trvale. Dlouhodobé spoje existují kvůli přístupu ke specializovaným vědeckým zařízením nebo jednoduše proto, že spolu dvě vzdálené organizace musí přenášet velké objemy dat na linkách se zaručenými parametry.

Kromě už zmíněné evropské sítě GÉANT je CESNET připojen do dalších sítí především přes peeringové uzly. Klíčový je pro nás český NIX.CZ, dále AMS-IX, VIX a SIX. Zbytek ošetříme relativně malou kapacitou ke komerčnímu Tier-1 operátorovi, popisuje Košňar. Poměr dat odbavených pomocí peeringů je velký a přesahuje 90 % kapacity. Zatímco do uzlů vedou v současné době linky o kapacitě 70 gigabitů, na zbytek stačí 6 gigabitů do Tier-1.

Čtěte: Lehký úvod do peeringu aneb jak funguje NIX.CZ

Část toků je odbavená také přes síť GÉANT, která také peeruje v několika uzlech. To nám také dost pomáhá, řešíme tím několik velkých hráčů. Jediný velký privátní peering má CESNET se sítí Google. Abychom šetřili pásmo, máme privátní propoj a na konci linky také Google cache, vysvětluje Košňar. Pokud vám Google vrací IP adresu s reverzním záznamem goo*gle.cesnet.cz, využíváte místní cache.

Síť není jen IP

Celá síť je postavena na pronajatých optických „temných“ vláknech, která si správci sami zapojují a nasvicují. Pronájmem se také snažíme rozvíjet místní trh. Nevlastníme žádná vlákna, všechna si pronajímáme. Všechno nad tím si už ale stavíme sami z důvodů zmíněné flexibility, pouští se do technických detailů Tomáš Košňar. Používáme vlnový multiplex (DWDM) dvou různých technologií: do páteře připojujeme sítě pomocí naší technologie Open DWDM Czech-Light a samotné jádro pak běží na Cisco 15454. Teoreticky umíme až osmdesát 100gigabitových kanálů na trase.

Nad touto fyzickou vrstvou pak běží IP/MPLS, která má opět 100gigabitový základ, dva uzly v Praze, v Brně, v Olomouci a jeden v Hradci Králové. Ostatní univerzitní uzly a významná pracoviště jsou pak připojena agregovanými 10GE linkami nebo rovnou 40GE. Podle potřeby pak můžeme jít i na vyšší rychlosti, vysvětluje Košňar.

Na fyzické infrastruktuře je pak možné spouštět různé typy služeb. DWDM nemusí být použito jen k provozu IP sítě. Máme tu případy, kdy šíříme „čistou vlnu“ z nějakého místa v naší zemi na konkrétní jiné místo v zahraničí. Jednou z aplikací je například přesný přenos času, který se využívá při metrologické spolupráci napříč Evropou, vysvětluje Košňar. Síť pak svým uživatelům takto nabízí samostatný fyzický přenosový kanál využitelný například pro přenos přesné frekvence optickou cestou.

Podle Tomáše Košňara je tohle to nejlepší, co je možné na fyzické vrstvě udělat. Víc už není možné nabídnout, z pohledu uživatele jde o čistou optickou trasu, vysvětluje. Samozřejmě ale nejde o jednu linku, ale o propojení mnoha různých cest, které navíc patří různým subjektům. To je věc, kterou umožňuje komunitní přístup k akademickým sítím. Organizace se dokáží dohodnout mezinárodně a vybudovat společně jeden konkrétní propoj.

Druhým způsobem je pak propojení point-to-point, které je složené z různých optických tras lišících se svou vlnovou délkou. Tam je už potřeba zásah zařízení, které provádí optoelektronickou konverzi. Třetí úrovní je pak kanál vytvořený pomocí MPLS vrstvy, nad kterým je pak obvykle budován Ethernet. Umíme také VPLS, takže máme případ instituce s celou distribuovanou virtuální infrastrukturou.

Cesnet je také součástí GLIF, což je sdružení podobně zaměřených sítí po světě, které disponují vláknovou infrastrukturou. Tyto organizace jsou ochotny recipročně část infrastuktury zapůjčit, obvykle ve formě vlnové délky na ní. Takto jsme schopni vytvořit dočasný optický kanál po celém světě. Na rozdíl od statické topologie GÉANT je takto možné dynamicky vytvářet propoje kamkoliv.

Poznámka: GLIF pořádá pravidelné Annual Global LambdaGrid Workshopy. Na organizaci 15. ročníku se podílí CESNET a bude se konat koncem září 2015 v Praze.

Nejen sítí živ je CESNET

CESNET ovšem není jen klubko optických kabelů. Samotná síť komunitě nestačí. Vědci potřebují počítat, ukládat data a spolupracovat. Výpočty máme postavené na distribuovaném modelu a modelu vzájemně sdílených zdrojů. Instituce tak nemusí být limitovány výkonem vlastních výpočetních clusterů, ale mohou si výkon sdílet, což jim umožňuje sáhnout si na daleko větší výkony v případě potřeby. Tomu říkáme Národní gridová infrastruktura a máme v ní především koordinační roli. Naše zdroje v ní tvoří už méně než padesát procent kapacity, zbytkem pak přispívají univerzity, výzkumné organizace a ústavy Akademie věd.

Výsledkem této struktury je distribuovaný výkon určený především pro výpočty. Buď na gridovém základě nebo v cloudu, ale je to takový vědecký cloud, vysvětluje se smíchem Košňar. Na rozdíl od běžného cloudu není určen pro spuštění web serveru, který si na něm bude deset let žít. Uživatelé si odladí image výpočetního uzlu, ten do gridu nahrají a tam se počítá třeba tři neděle. Pak se jen stáhnou výsledky, protože je vypočítáno, vysvětluje zjednodušeně Košňar.

Na intenzivní poptávku uživatelské komunity začal CESNET spravovat také datová úložiště, především pro skladování velkých objemů vědeckých dat. V současné době máme na několika místech distribuovanou kapacitu přes 22 PB. Úložiště mají vlastní síťovou infrastrukturu postavenou částečně nad DWDM a částečně nad MPLS jako jednu ze instancí na naší hybridní síti. Kromě klasických síťových souborových systémů a různých služeb pro vědce běží nad úložišti také další služby. Dnes je hodně populární sdílení dat různými skupinami, takže umíme například ownCloud nebo FileSender pro posílání velkých souborů. Takové služby naše komunita potřebuje a naše infrastruktura je na ně navržená.

Třetí velkou službou je pak infrastruktura pro vzdálenou spolupráci. Vědecké skupiny dnes nikde nejsou lokální a vědci musí spolupracovat z různých míst. To zahrnuje videokonference, hlasové služby a tak dále. Umíme jak jednoduché webové konference, tak i FullHD přenosy pomocí H.323/SIP. Speciální kapitolou jsou pak nízkolatenční přenosy až ve 4K, například pro medicínu nebo kulturu ve vysoké kvalitě. Jednotlivé sítě mohou do naší infrastruktury začleňovat i vlastní prostředky a mohou si rezervovat jednotlivé konferenční místnosti, vytvářet si skupiny a podobně. Seriózní výzkum se dnes nedá podle Košňara dělat národně, proto musí být tato infrastruktura také kompatibilní se zbytkem vědeckého světa.

Bezpečnost na popředí

Správci sítě CESNET poměrně hodně dbají na bezpečnost celé sítě. Řešíme bezpečnost jak z organizačního hlediska, tak i z technického. CESNET byl první českou organizací, která měla vlastní CSIRT tým. Zároveň je celá síť pečlivě monitorována na nejrůznějších úrovních. Máme hardwarově akcelerované sondy na perimetru sítě, plošný flow-based monitoring, plošný SNMP monitoring a podobně.

Čtěte: Bezpečnost v rukou adminů i tajných služeb (zápisky z IT 14)

Zmíněné systémy dokáží část hrozeb automaticky detekovat, ale také je možné pomocí nich zjistit podrobnosti ex post. Klademe důraz na to, abychom dokázali analyzovat jakoukoliv událost týkající se bezpečnostního incidentu. Stejné služby jsou pak přístupné i připojeným sítím. Chceme, aby naši uživatelé měli informace o tom, jak se jimi spravovaná infrastruktura chová. Aby měli možnost zasáhnout, když se cítí ohroženi nebo sami ohrožují.

CESNET ve výchozím stavu nijak nezasahuje do síťového provozu a uživatelům žádný typ toku nefiltruje. Většina vědeckých aplikací je poměrně náročných například na využití portů. Kromě klasických filtrů, které například brání šíření privátních adres do internetu, ale provoz nijak neregulujeme. Proto musíme dbát na dobrý monitoring, protože můžeme být potenciálně nebezpeční.

Cílem by podle Košňara mělo být, aby se každá síť řídila heslem: „Nečiň druhým, co nechceš, aby činili oni tobě.“ Klíčem je podle něj dobrý dohled nad vlastní sítí a obrana sítě nejen před okolním světem, ale také obrana okolí před činností jdoucí ze sítě CESNET2. Vzhledem k našim dostupným kapacitám se musíme hlídat mnohonásobně lépe, protože bychom mohli být velmi nebezpeční. Proto podle Tomáše Košňara CESNET také intenzivně podporovala vznik projektu FENIX na půdě NIX.CZ a stal se jedním ze zakládajících členů.

CESNET je neobyčejná síť

Přestože může někdo mít dojem, že CESNET je běžný poskytovatel připojení pro akademické organizace, v praxi jde o mnohem více. Je to dáno zejména hodně zvláštní uživatelskou komunitou a jejich nestandardními požadavky na přenos dat. Potřebujeme vytvářet takové prostředí, aby umožnilo komunikaci napříč Evropou i celým světem a nedegradovalo výsledky vědeckých měření a dat z nich vyplývajících, říká nám na konci našeho rozhovoru Tomáš Košňar.

• 
• 
• 

Dalších 35 fotografií