Kielecka miejska sieć szerokopasmowa to pierwsza w Polsce metropolitalna sieć publiczna klasy operatorskiej. Siedem węzłów szkieletowych połączonych dedykowaną kanalizacją światłowodową tworzy wokół miasta ring o długości 80 kilometrów. Do szkieletu działającego z prędkością 100 Gigabitów na sekundę podłączonych jest 40 węzłów dystrybucyjnych wykorzystujących wiele połączeń 10-Gigabitowych, oraz 105 węzłów dystrybucyjno-dostępowych z łączami 1-Gigabitowymi. Fundamentem kieleckiej sieci są sprawdzone w sieciach operatorskich na całym świecie routery Juniper Networks MX 480 oraz ACX 2100 i ACX 1100. Sieć zapewnia ponad 150 instytucjom samorządowym i państwowym działającym na terenie Kielc łączność głosową i wideo, oraz ultraszybki dostęp do Internetu. W planach jest uruchomienie kolejnych usług, a po zakończeniu 5-letniego okresu wsparcia inwestycji sieć ma zostać udostępniona lokalnym operatorom i biznesowi.

Pierwotne plany Urzędu Miasta Kielce zakładały budowę sieci wykorzystującej w szkielecie technologię 10 G Ethernet. Po konsultacji wstępnego projektu z producentami sprzętu sieciowego Urząd doszedł do wniosku, że możliwe jest zbudowanie sieci dziesięciokrotnie szybszej, bez znaczącego wzrostu kosztów inwestycji. Zarzucono też pierwotne plany prowadzenia sieci w kanalizacji ciepłowniczej na rzecz budowy nowej, dedykowanej kanalizacji telekomunikacyjnej. Kielce rozmarzyły się i „zamachnęły” na projekt bardzo ambitny pod każdym możliwym względem. Ta ambitna wizja trafiła na podatny grunt.

„Gdy usłyszeliśmy o planach Urzędu Miasta związanych z podłączeniem do sieci wszystkich liczących się instytucji publicznych w Kielcach, zaczęliśmy studiować potencjalne kierunki wykorzystania jej w całym okresie eksploatacji. Patrzyliśmy na to, jakie usługi zyskują popularność na Zachodzie, oraz co dzieje się w Japonii i Korei, krajach, w których sieci przyszłości działają już dzisiaj, a z którymi Kielce od lat współpracują przy transmisjach konkursów pianistycznych im. Fryderyka Chopina. Z tych rozważań wyszło nam, że sieć szkieletowa musi umożliwiać transmisję wielu kanałów wideo w formacie 4K, równolegle z usługami głosowymi i szybkim Internetem. Na takie potrzeby sieć 10G Ethernet jako podstawa szkieletu sieci była zdecydowanie zbyt mało rozwojowa” – mówi Aleksander Bury, konsultant w Juniper Networks Poland.

Zakład o 100 Gigabitów

Juniper zaproponował Urzędowi Miasta budowę sieci szkieletowej wykorzystującej technologię 100-Gigabitową. „To była moja osobista koncepcja. Zanim przedstawiliśmy ją w Kielcach, musiałem do niej przekonać kolegów z mojej firmy, następnie współpracujących z nami inżynierów z firmy WASKO S.A., która zamierzała stanąć do przetargu na budowę sieci. Argumentowałem następująco: jeśli połączenia pomiędzy węzłami faktycznie mieszczą się poniżej 10 kilometrów, jak wynikało z dokumentacji, szkielet będzie można zbudować z użyciem relatywnie taniej technologii szarych światłowodów i obsługujących je kart liniowych LR4, które przesyłają cztery strumienie po 25 Gigabitów jedną falą światła, z przesunięciem fazowym. Ich cena katalogowa jest kilkakrotnie niższa, niż cena kart wykorzystywanych przez operatorów na dłuższych odcinkach rzędu 40-100 km” – opowiada Aleksander Bury.

„Mamy w Urzędzie satysfakcję, że pozostawimy przyszłym pokoleniom solidny fundament do rozwoju nowoczesnych usług. Kielce są przygotowane na nawet tysiąckrotny przyrost ruchu w sieci miejskiej, bez potrzeby wykonywania kosztownych prac budowlanych”

Zygmunt Mazur, dyrektor Zakładu Obsługi i Informatyki Urzędu Miasta Kielce

Zygmunt Mazur, dyrektor Zakładu Obsługi i Informatyki Urzędu Miasta Kielce

Warunkiem zastosowania kart liniowych LR4 była poprawność pomiarów odległości pomiędzy węzłami. Gdyby obliczenia były nieprecyzyjne, miasto nie dochowałoby warunków technicznych projektu i musiałoby z własnego budżetu kupić kilkakrotnie droższe karty liniowe ER4 o zasięgu do 40 kilometrów, lub alternatywnie zwrócić dofinansowanie z Unii Europejskiej. Cena kart liniowych w zasadzie determinowała konkurencyjność potencjalnej oferty. „Na szczęście WASKO S.A. solidnie podeszło do projektu i wykonało bardzo precyzyjne pomiary. Wszystkie odległości mieściły się w granicach tolerancji kart LR4. To zdecydowało, że mogliśmy wystartować z ofertą, która, jak się później okazało, była bezkonkurencyjna” – tłumaczy Aleksander Bury.

Zaproponowana przez Juniper Networks i WASKO S.A. architektura zakładała, że karty liniowe LR4 zostaną osadzone w przełącznikach szkieletowych MX 480. Każdy z przełączników został wyposażony w dwie karty – główną i zapasową, oraz dodatkowo po jednej karcie na potrzeby przyszłej rozbudowy szkieletu. Rozbudowa będzie sprowadzać się wyłącznie do podłączenia kart do światłowodów. Żadne inne zabiegi nie będą potrzebne, jako że sieć pasywna w Kielcach ma wielki zapas pojemności – w kanalizacji jest siedem rur, a jedynie do dwóch z nich wdmuchane zostały wiązki światłowodowe.

„Gdy usłyszeliśmy o planach Urzędu Miasta związanych z podłączeniem do sieci wszystkich liczących się instytucji publicznych w Kielcach, zaczęliśmy studiować potencjalne kierunki wykorzystania jej w całym okresie eksploatacji. Z tych rozważań wyszło nam, że (…) na takie potrzeby sieć 10G Ethernet jako podstawa szkieletu sieci była zdecydowanie zbyt mało rozwojowa”

Aleksander Bury, konsultant w Juniper Networks Poland

Zarządzanie autostradą

Alternatywą dla linii 100 G Ethernet w szkielecie byłaby agregacja wielu łącz 10-Gigabitowych. Z punktu widzenia zarządzania siecią, a w szczególności szkieletem, agregacja byłaby jednak kłopotliwa. „Agregacja wygląda dobrze na papierze. W praktyce jest z nią zawsze dużo „zabawy”, bo np. utrzymanie zadeklarowanych parametrów Quality of Service wymaga w przypadku agregacji drobiazgowego zarządzania kolejkami. Ponadto, każda zmiana wymaga sprawdzenia jej wpływu na działanie zagregowanego łącza. Wszystko to stawia bardzo wysokie wymagania wobec administratorów, a nade wszystko zdecydowanie zwiększa koszty utrzymania sieci. Wykorzystanie w szkielecie routerów MX 480 i kart 100 G Ethernet daje Kielcom perspektywę nawet 10 lat bezproblemowej eksploatacji” – wyjaśnia Aleksander Bury.

Podczas wdrożenia platform sieciowych inżynierowie WASKO S.A. i Juniper Networks zadbali o to, by już w momencie uruchomienia sieć była właściwie skonfigurowana. „Pasmo to nie wszystko. Poszczególne usługi muszą mieć zagwarantowane priorytety, by w okresach wzmożonej aktywności sieć spełniała oczekiwania jej użytkowników. Najważniejsza jest sygnalizacja, później mamy ruch czuły na zmienne opóźnienia, czyli tzw. jitter, a więc ruch głosowy, dalej wideo, Internet premium, i w końcu całą resztę. W praktyce wygląda to tak, że na routerze na każdym porcie definiuje się kolejki, do których przypisane są priorytety obsługi, limity pasma i inne parametry. W Kielcach wdrożyliśmy konfigurację stosowaną przez operatorów o bardzo zróżnicowanym ruchu, co daje miastu bezproblemową obsługę potrzeb i zabezpieczenie na wypadek nieprzewidywalnych zdarzeń w sieci” – tłumaczy Aleksander Bury.

„Każdy przełącznik brzegowy może zostać połączony z kilkoma innymi w danej okolicy i stworzyć pętlę niższego rzędu. Pozwoli to na organiczną rozbudowę sieci wraz z pojawianiem się nowych potrzeb przyłączeniowych, a jednocześnie zapewni jej niezawodność także poza głównym szkieletem, co jest atrakcyjne z punktu widzenia potencjalnej współpracy z operatorami i biznesem”

Zygmunt Mazur, dyrektor Zakładu Obsługi i Informatyki Urzędu Miasta Kielce

Duża elastyczność konfiguracji sieci będzie z biegiem czasu zyskiwać na znaczeniu. Gdy po okresie wsparcia Urząd Miasta będzie chciał nawiązać współpracę z operatorami działającymi w poszczególnych dzielnicach Kielc, będzie mógł oferować im gwarancje utrzymania parametrów ruchu każdego typu, zarówno w szkielecie, jak w warstwie dystrybucyjnej. Dostarczone wraz z przełącznikami oprogramowanie zarządzające pozwala centralnie kontrolować konfigurację wszystkich węzłów sieci.

Obrzeże prawie jak szkielet

Pierwotnie rozważano architekturę, w której węzły dystrybucyjne prowadzić miały do węzłów dostępowych. Po konsultacjach Kielce postanowiły wdrożyć na obrzeżu sieci przełączniki, które oprócz łączności dla lokalnej instytucji, np. szkoły, szpitala czy urzędu, mogą jednocześnie pełnić funkcję węzła dystrybucyjnego dla lokalnej podsieci, obejmującej np. osiedle mieszkaniowe. „Każdy przełącznik brzegowy może zostać połączony z kilkoma innymi w danej okolicy i stworzyć pętlę niższego rzędu. Pozwoli to na organiczną rozbudowę sieci wraz z pojawianiem się nowych potrzeb przyłączeniowych, a jednocześnie zapewni jej niezawodność także poza głównym szkieletem, co jest atrakcyjne z punktu widzenia potencjalnej współpracy z operatorami i biznesem” – podkreśla Zygmunt Mazur, dyrektor Zakładu Obsługi i Informatyki Urzędu Miasta Kielce, pomysłodawca projektu.

„Agregacja wygląda dobrze na papierze. W praktyce jest z nią zawsze dużo „zabawy”, (…) a nade wszystko zdecydowanie zwiększa koszty utrzymania sieci. Wykorzystanie w szkielecie routerów MX 480 i kart 100G Ethernet daje Kielcom perspektywę nawet 10 lat bezproblemowej eksploatacji”

Aleksander Bury, konsultant w Juniper Networks Poland

Aleksander Bury, konsultant w Juniper Networks Poland

Początkowo planowano, że na obrzeżu sieci wykorzystane zostaną niewielkie przełączniki serii SRX 210 lub 240, albo routery serii J, ale po kilku iteracjach analizy potrzeb Urzędu Miasta, na obrzeże sieci zaproponowane zostały przełączniki z serii ACX. „Zastosowane w Kielcach przełączniki brzegowe ACX 1100 i ACX 2100 zapewniają duże możliwości rozbudowy węzłów, oraz posiadają oprogramowanie identyczne, jak routery szkieletowe, w szczególności pełną obsługę protokołu MPLS. Urząd Miasta uznał to za jeden z ważniejszych punktów wymagań. Istotną zaletą tych platform jest ponadto pasywne chłodzenie, dzięki któremu urządzenia mogą działać praktycznie wszędzie, nie przeszkadzając nikomu szumem wentylatorów. W przeszłości zdarzało się, że zmęczeni hałasem pracownicy po prostu wyłączali urządzenia, odcinając łączność ze światem w całej instytucji” – wyjaśnia Jacek Wosz, projektant sieci, ekspert ds. technologii Juniper Networks w WASKO S.A.

Co dalej?

Kielecka sieć miejska została zbudowana od podstaw, zarówno w części pasywnej, jak i aktywnej. Projekt trwał pięć lat i napotykał na wiele niespodziewanych problemów, które udało się jednak przezwyciężyć. Miasto posiada bardzo nowoczesną sieć o rozwojowej architekturze, pozwalającą łatwo budować pętle poza szkieletem głównym. Sieć pasywna ma wielki zapas pojemności, ale i warstwa aktywna może być skalowana. Za mniej więcej trzy lata na rynku pojawią się karty liniowe pracujące z prędkością 400 Gigabitów. „Mamy w Urzędzie satysfakcję, że pozostawimy przyszłym pokoleniom solidny fundament do rozwoju nowoczesnych usług. Kielce są przygotowane na nawet tysiąckrotny przyrost ruchu w sieci miejskiej, bez potrzeby wykonywania kosztownych prac budowlanych” – podkreśla Zygmunt Mazur.

Schemat 1. Mapa lokalizacji węzłów kieleckiej sieci MAN. Sieć składa się z 7 węzłów szkieletowych, 20 węzłów dystrybucyjnych oraz 145 węzłów dystrybucyjno-dostępowych. Wszystkie routery działające w sieci obsługują protokół MPLS.

Autorem fotografii Zygmunta Mazura jest Paweł Jakubczyk.
Autorem fotografii Aleksandra Burego jest Monika Dyba.