Komunikacja zgodna z IEC 61850
Ethernet przełączany jako infrastruktura komunikacyjna dla systemów sterowania, nadzoru i zabezpieczeń stacji elektroenergetycznej
Strumienie ruchu według IEC 61850, opracowane na podstawie [1]
Standard IEC 61850 systematyzuje zagadnienia związane z wymianą danych w systemach elektroenergetycznych. Norma rewolucjonizuje podejście do realizacji systemów stacyjnych, proponując obiektowy model danych, obejmujący swoim zasięgiem wszystkie trzy poziomy komunikacji wyróżniane w stacji elektroenergetycznej: poziom procesu, pola, stacji oraz zastosowanie wspólnej infrastruktury komunikacyjnej opartej na sieci Ethernet.
Zobacz także
AUTOMATION TECHNOLOGY Sp. z o.o. Automation Technology – nowy gracz na rynku
Automation Technology prężnie działa w obszarach energetyki, automatyki przemysłowej oraz robotyki.
Automation Technology prężnie działa w obszarach energetyki, automatyki przemysłowej oraz robotyki.
mgr inż. Dominik Trojnicz, dr hab. inż. Marcin Habrych, mgr inż. Justyna Herlender Wymagania stawiane automatyce zabezpieczeniowej i regulacyjnej inwerterów typu A
Obecny bardzo gwałtowny rozwój fotowoltaiki – nie tylko w Polsce, ale na całym terenie Unii Europejskiej (UE) – niesie za sobą dużo zalet, takich jak pozyskiwanie energii z praktycznie nieskończonej energii...
Obecny bardzo gwałtowny rozwój fotowoltaiki – nie tylko w Polsce, ale na całym terenie Unii Europejskiej (UE) – niesie za sobą dużo zalet, takich jak pozyskiwanie energii z praktycznie nieskończonej energii słonecznej oraz brak emisji szkodliwych gazów, co przyczynia się do redukcji emisji gazów cieplarnianych i zmniejszenia negatywnego wpływu na środowisko. Przyłączenie dużej liczby odnawialnych źródeł energii (OZE) nie pozostaje jednak bez wpływu na sieci elektroenergetyczne.
dr hab. inż. Marcin Habrych, mgr inż. Karol Świerczyński, dr inż. Bartosz Brusiłowicz Wymagania techniczne stawiane generacji rozproszonej w aspekcie elektroenergetycznej automatyki zabezpieczeniowej (część 2.)
Odpowiedzią na wymagania stawiane przez Kodeks Sieciowy jest opracowanie przez Polskie Towarzystwo Przesyłu i Rozdziału Energii Elektrycznej (PTPiREE) na zlecenie Polskich Sieci Elektroenergetycznych (PSE)...
Odpowiedzią na wymagania stawiane przez Kodeks Sieciowy jest opracowanie przez Polskie Towarzystwo Przesyłu i Rozdziału Energii Elektrycznej (PTPiREE) na zlecenie Polskich Sieci Elektroenergetycznych (PSE) „Wymogów ogólnego stosowania wynikających z Rozporządzenia Komisji (UE) 2016/631 z dnia 14 kwietnia 2016 r., ustanawiającego Kodeks Sieci dotyczący wymogów w zakresie przyłączenia jednostek wytwórczych do sieci (NC RfG)” [4], opublikowanych w roku 2018.
Dla każdego rozważanego systemu można wyodrębnić kryteria będące podstawą oceny stopnia jego wartości użytkowej. Do najważniejszych należą: przejrzystość, możliwości rozbudowy systemu – skalowalność, koszt wdrożenia i eksploatacji oraz niezawodność. Stosując odpowiednie mechanizmy w sieci opartej na przełączanym Ethernecie oraz bazę modeli logicznych, zamiast, jak dotychczas, list sygnałów, standard IEC 61850 ułatwia spełnienie powyższych kryteriów. W modelach danych odwzorowana jest kontrola procesów oraz informacji pochodzących z urządzeń elektrycznych (aparatura wtórna i pierwotna), obsługa zabezpieczeń oraz pozostałe funkcje automatyki stacyjnej. Poprzez abstrakcyjne modele interfejsów komunikacyjnych poszczególnych urządzeń, określone są metody wymiany informacji, dostępu do poszczególnych modeli informatycznych, raportowania sekwencji zdarzeń i historii zdarzeń.
Wspomniane powyżej cechy standardu IEC 61850 zostały opisane w artykule w kontekście wymagań komunikacyjnych systemu. Zastosowanie struktury opartej na sieci przełączanej Ethernet wymaga odpowiedniego projektu uwzględniającego zastosowanie specjalnych mechanizmów sieciowych, takich jak: protokoły rekonfiguracji topologii, tworzenie wirtualnych podsieci, obsługa ruchu grupowego, obsługa priorytetów, blokowanie nagłówków. Obligatoryjne jest również zastosowanie urządzeń sieciowych, mających odpowiednio wysoką odporność środowiskową [10].
W artykule omówione zostały wyniki analizy związanej z zastosowaniem poszczególnych mechanizmów sieciowych, w celu spełnienia wymienionych w standardzie wymagań dotyczących komunikacji. Wnioski poparto wynikami symulacji komputerowych dla wybranych topologii.
Idea systemu zgodnego z normą IEC 61850
Przez wiele lat eksploatacji obiektów energetycznych zaobserwowano, że zmiany wprowadzane w funkcjonalności systemu, ze względu na rozwój technologiczny, są znacznie rzadsze niż w przypadku systemów komunikacyjnych [3]. Ten aspekt w połączeniu ze stopniem rozwoju osiągniętego przez systemy transmisji danych oparte na protokole Ethernet, spowodowały rozpoczęcie prac nad wprowadzeniem nowego standardu wymiany danych w stacjach elektroenergetycznych. Efektem tych prac jest standard IEC 61850 (polska wersja normy PN-EN 61850 Systemy i sieci komunikacyjne w stacjach elektroenergetycznych). Powstał on na podstawie doświadczeń EPRI (UCA 2.0) oraz IEC (60870-5-101, -103, -104), w celu ujednolicenia zasad wymiany danych dla potrzeb energetyki. Zrealizowany zgodnie z ideą warstwowego modelu komunikacji i rozdzielenia samych zagadnień transmisyjnych i komunikacyjnych od aplikacji i funkcjonalności systemu.
Standard jest nadal rozwijany szczególnie w zakresie komunikacji pomiędzy stacjami elektroenergetycznymi oraz synchronizacji czasu. Projektowanie sieci informatycznej wymaga zrozumienia funkcjonalności i wymagań systemów energetycznych, w związku z tym należy przynajmniej ogólnie rozważyć ideę IEC 61850, skupiając się na cechach istotnych z punktu widzenia projektowania samej infrastruktury sieciowej. Potrzebne założenia i wymagania standardu IEC 61850 zostały ciekawie i przejrzyście opisane w wielu źródłach [1 - 5]. Zakres artykułu pozwala tylko na ogólny opis najistotniejszych zagadnień. Standard składa się z 10 części i szczegółowo omawia wszelkie aspekty wymiany danych od odporności środowiskowej urządzeń komunikacyjnych po obiektowe modele danych aplikacji. W takim podejściu rozróżniono trzy logiczne poziomy komunikacji:
- procesu – zdalne I/O, czujniki, włączniki, wyłączniki, przekładniki,
- pola – kontrola, zabezpieczenia polowe, automatyka stacyjna, rejestracja,
- tacji – centrum SSiN stacji – komputer stacyjny, stanowisko prowadzenia ruchu, połączenia do centrów nadzoru, serwery SCADA, HMI, centralne urządzenia synchronizujące czas, drukarki operatorskie.
Wydzielenie poziomów funkcjonalnych i niezależnych „porcji” informacji wykorzystywanych przez funkcje automatyki stacyjnej zaimplementowane w urządzeniach cyfrowych umożliwiło traktowanie systemu stacyjnego jako hierarchicznej struktury wymiany danych. Taki model logiczny zdecydowanie poprawia przejrzystość systemu. Aktualnie ogromna większość wdrożeń obejmuje poziom pola i stacji z pominięciem poziomu procesu, gdzie nadal wykorzystuje się klasyczną aparaturę pierwotną. Magistrala procesowa, w sensie transmisji danych, jako rozwinięcie omawianych w tym artykule topologii, może być zrealizowana na przynajmniej dwa podstawowe sposoby: jako wydzielona szybka (1 Gb) struktura połączona do poziomu pola za pośrednictwem sterowników pola oraz zabezpieczeń lub struktura zintegrowana fizycznie z fragmentami LAN wyższych poziomów.
W drugim przypadku cała infrastruktura wymagałaby przepustowości na poziomie 1 Gb i zdecydowanie komplikowałyby się zagadnienia związane z inżynierią ruchu, ponieważ największy i najbardziej wymagający ruch (próbki pomiarowe) przewidywany jest właśnie dla poziomu procesu. Zastosowanie Ethernetu jako homogenicznej infrastruktury dla transmisji danych gwarantuje uwzględnienie zarówno celów biznesowych, jak i technicznych, ponieważ poprawia przejrzystość i możliwości rozbudowy systemu – skalowalność, obniża koszt wdrożenia i eksploatacji, z zachowaniem odpowiedniego poziomu niezawodności i funkcjonalności. Wprowadzenie standardu wymaga spełnienia szeregu warunków, co powinno być poparte testami funkcjonalnymi opisanymi w normie IEC 61850, oferowanymi przez niektóre niezależne firmy lub instytuty naukowe.
Przede wszystkim standard narzuca zastosowanie cyfrowych urządzeń stacyjnych (zabezpieczenia cyfrowe, sterowniki polowe i stacyjne (ang. IED – Intelligent Electronic Device), w przypadku realizacji szyny procesowej urządzenia automatyki pierwotnej (ang. DAU – Digital Acquisition Unit) z odpowiednim interfejsem komunikacyjnym. Definiuje rodzaje i sposoby wymiany poszczególnych rodzajów danych, w zależności od powiązanej z nimi funkcji systemu. Stosując odpowiednie mechanizmy w sieci opartej na przełączanym Ethernecie oraz bazę modeli logicznych, zamiast, jak dotychczas list sygnałów, zwiększa się znacznie również parametr dotyczący łatwości dokonywania przyszłych modernizacji.
W modelach danych odwzorowana jest kontrola procesów oraz informacji pochodzących z urządzeń elektrycznych (aparatura wtórna i pierwotna), obsługa zabezpieczeń oraz pozostałe funkcje automatyki stacyjnej. Poprzez abstrakcyjne modele interfejsów komunikacyjnych poszczególnych urządzeń, określone są metody wymiany informacji, dostępu do poszczególnych modeli informatycznych, raportowania sekwencji zdarzeń i historii zdarzeń. Dla zapewnienia odpowiedniej funkcjonalności zabezpieczeń cyfrowych IEC 61850 precyzuje zasady szybkiej transmisji międzypolowej, wymiany informacji statusowych i próbek pomiarowych. Założona jest dowolność alokacji poszczególnych funkcji. Norma określa natomiast przyporządkowanie metod wymiany informacji do standardowych otwartych protokołów komunikacyjnych (Ethernet, IP, MMS) [12]. Mylące jest używanie słowa „protokół” w stosunku co do samego standardu IEC 61850, jest on raczej logicznym modelem komunikacji zdefiniowanym na podstawie stosu istniejących protokołów. Jedne z najistotniejszych jego cech:
- zaproponowanie hierarchicznego modelu informacyjnego (danych) dla całej podstacji z uwzględnieniem wszystkich poziomów funkcjonalnych (stacji, pola, procesu),
- zaproponowanie abstrakcyjnego modelu funkcjonalnego (zorientowanego na funkcję) wymiany informacji pomiędzy urządzeniami,
- wprowadzenie przyporządkowania tych abstrakcyjnych modeli do faktycznych protokołów komunikacyjnych, między innymi Ethernetu w warstwie łącza danych,
- wprowadzenie języka konfiguracji i opisu stacji wraz z wszystkimi jej elementami,
- opis testów funkcjonalnych.
Założono cele osiągnięcia kompatybilności urządzeń pochodzących od różnych producentów, zapewnienia dowolności alokacji funkcji i rozdzielenia funkcjonalności od sposobu realizacji komunikacji. Jednym z najistotniejszych aspektów było oczywiście opracowanie rozwiązania mającego duży potencjał w przyszłości (ang. future proof). IEC 61850 nie specyfikuje fizycznej architektury systemu. Definiuje logiczną strukturę komunikacji (rys. 1.).
Strumienie ruchu kolejno to komunikacja wewnątrz pola (1), komunikacja międzypolowa (2), komunikacja między poziomem pola a poziomem stacji (3), komunikacja między poziomem pola a poziomem procesu (4) oraz komunikacja pomiędzy stacjami (5), komunikacja pomiędzy stacją a centrami zarządzania (6), komunikacja na poziomie stacji (7) [11]. Standard został zbudowany zgodnie z filozofią warstwowego modelu komunikacji (tab. 1.) (opracowano na podstawie [6, 12]).
W takim modelu każda warstwa ma inne zadania i oferuje swoje usługi warstwie wyższej. Dane aplikacji są uzupełniane kolejno przez nagłówki i inne informacje protokołów warstw niższych – taki proces nosi nazwę enkapsulacji.
Modele wymiany informacji
W tabeli 2. (opracowanie na podstawie [5, 11, 12]) rozróżniono kilka podstawowych rodzajów informacji wymienianych przez systemy stacyjne z uwzględnieniem mechanizmu komunikacji wprowadzonego przez IEC 61850.
Dla wymienionych rodzajów ruchu określone zostały ilościowe sposoby szacowania strumieni danych oraz wymagania dotyczące jakości transmisji dla poszczególnych typów informacji.
Najbardziej surowe wymagania czasowe mają informacje z zabezpieczeń i próbki pomiarowe. Zabezpieczenia i sterowniki polowe, jak również niektóre urządzenia poziomu procesu, przesyłają między sobą tzw. komunikaty GOOSE. W celu zminimalizowania opóźnienia, które wprowadzane jest w trakcie przejścia informacji przez kolejne warstwy stosu protokołów, wiadomości tego typu i próbki pomiarowe są wysyłane bezpośrednio w ramce protokołu Ethernet ze specjalnie zmodyfikowanym polem EtherTypes i dodatkowymi etykietami wpływającymi na sposób przełączania ramki przez infrastrukturę sieciową.
Warstwy wyższe nie biorą udziału w tym procesie, co implikuje zastosowanie charakterystycznych mechanizmów związanych z zarządzaniem ruchu. Większość tego typu mechanizmów zwykle implementowana jest w warstwie trzeciej (np. protokół IGMP/IGMP snooping) i wyższych. Ograniczenie się do warstwy drugiej ogranicza liczbę rozwiązań do kilku standardów, z których najistotniejsze to VLAN 802.1Q oraz nadawanie priorytetów zgodnie z 802.1p. Ze względu na to, że sam Ethernet nie oferuje mechanizmu potwierdzeń otrzymania informacji przez stację odbiorczą i żądań retransmisji (jest to zadaniem warstw wyższych), komunikaty GOOSE są wysyłane cyklicznie, w cyklu o zmiennym czasie trwania (od kilku ms do kilku s). Okres cyklu zmienia się w zależności od stanu pracy stacji (normalny, zdarzenie, alarm, po alarmie).
Podstawy funkcjonowania Ethernetu przełączanego – model logiczny przełącznika sieciowego
Standard Ethernet 802.3 pochodzi z lat 70. i od tamtego czasu jest nieustająco udoskonalany i rozwijany ze względu na swoją dużą popularność w zastosowaniach komercyjnych i przemysłowych. Popularność rozwiązań opartych na Ethernecie wynika przede wszystkim z wysokiego współczynnika oferowanych możliwości technicznych w stosunku do ceny oraz faktu, że jest bardzo dobrym „nośnikiem” informacji protokołu IP. W oryginale Ethernet kojarzy się z rywalizacyjnym dostępem do medium, protokołem obsługującym zarządzanie tym dostępem – CSMA/CD, wytycznymi dotyczącymi projektowania związanymi z szerokością segmentów i konkretną liczbą poszczególnych rodzajów urządzeń, takich jak: stacje końcowe, regeneratory, huby. Standard w takiej formie oczywiście nie miałby zastosowania.
Rewolucję przyniosła wersja standardu 802.3x (1997 rok), oferująca pracę w pełnym dupleksie (nadawanie/odbieranie – jednocześnie w obydwu kierunkach). Ta data koreluje ze zmianą podejścia do realizacji systemów stacyjnych i opracowaniem nowych norm. W aplikacjach stacyjnych wykorzystuje się zarządzalne przełączniki sieciowe pracujące w trybie FDX (Full Duplex) i przełączające na zasadzie store&forward. Eliminuje to wszystkie ograniczenia projektowe związane ze starszą wersją standardu. Granica odległości zależy w tym momencie głównie od tłumienia medium transmisyjnego (dla światłowodów SM dystanse nawet do 120 km). Opóźnienia propagacji są zwykle pomijalne (dla skali lokalnej np. sieci podstacji) w stosunku do opóźnień wprowadzanych przez urządzenia aktywne (przełączniki sieciowe, routery, serwery portów szeregowych). Takie podejście sprawia, że sieć staje się bardziej wydajna.
Praca w pełnym dupleksie możliwa jest dzięki zastosowaniu bardzo szybkich magistral wewnętrznych urządzeń, co pozwala na równoległe obsługiwanie każdego dwukierunkowego kanału transmisji o podwojonej przepustowości – np. port 100 Mb/s – kanał transmisyjny o przepustowości 200 Mb/s, po 100 Mb/s w każdym kierunku. W dokumentacji urządzeń sieciowych często można spotkać się z określeniem przepustowości całkowitej wyrażonej w PPS (ang. packets per second) lub informacją że urządzenia mogą pracować z teoretyczną przepustowością maksymalną (ang. full wire speed).
Każde urządzenie (stacja końcowa/host) przypięte jest bezpośrednio do portu przełącznika sieciowego połączeniem typu FDX. Eliminuje to kolizje, dokonując segmentacji sieci w warstwie 2 (zmniejszenie zasięgu domen kolizyjnych). Nazwa domena kolizyjna często bywa źródłem nieporozumień – jej znaczenie w przypadku wykorzystywania tylko i wyłącznie przełączników sieciowych pracujących w pełnym dupleksie jest „potencjalne”. Można interpretować ją jako obszar sieci, w którym mogłyby wystąpić kolizje na skutek awarii, gdyby pracowały w nim urządzenia wykorzystujące komunikację w trybie HDX (Half Duplex – pół dupleks).
Switch jest urządzeniem inteligentnym analizującym pola adresu źródłowego i docelowego ramki (adresy MAC). Na podstawie tych analiz budowana jest tablica asocjacji nazywana tablicą adresów MAC lub tablicą CAM. Dzięki temu przełącznik przekazuje informacje tylko na port prowadzący do zdefiniowanego w ramce odbiorcy. Każda ramka docierająca do przełącznika trafia do bufora kolejki portu wejściowego (ang. ingress), następnie sprawdzana jest jej poprawność (pole sumy kontrolnej FCS) i na podstawie adresu MAC odbiorcy kierowana na odpowiedni port wyjściowy (ang. egress). Na wyjściu w zależności od implementacji przełącznika może również występować kolejka wyjściowa. Taka metoda przełączania nosi nazwę zapamiętaj i przekaż (ang. store & forward). W związku z tym, przełącznik sieciowy musi dysponować buforem pamięci. Przydział takiego bufora zwykle realizowany jest dynamicznie. Często w specyfikacjach urządzeń podawana jest wielkość pamięci dla całego przełącznika sieciowego lub dla pojedynczego modułu w przypadku przełączników o budowie modularnej.
W przypadku przeciążenia sieci (sytuacji, w której natężenie ruchu w danej chwili przekracza możliwości przełączania urządzeń sieciowych), wszystkie pakiety, które muszą czekać na obsłużenie, są wprowadzane do kolejki. W związku z tym pojawia się zagadnienie powstawania opóźnień kolejkowania. Po przekroczeniu rozmiaru bufora kolejne, nadchodzące ramki są ignorowane. Algorytm działania kolejki może być realizowany na różne sposoby, np. FIFO (First In First Out), WFQ (Weighted Fair Queueing), Round-Robin. Dodatkowo ramki mogą nieść ze sobą informacje o priorytecie, z jakim powinny być obsługiwane. Ramka z priorytetem najwyższym będzie przesuwana na początek kolejki (zgodnie z jej algorytmem działania). [6, 8]. Dla sieci przemysłowych stosuje się prosty mechanizm obsługi, gwarantujący bezwzględne pierwszeństwo danym o wyższym priorytecie.
Priorytety mogą być nadawane w różnych warstwach. Przełączniki sieciowe są urządzeniami warstwy 2 (wg modelu OSI) i mogą obsługiwać priorytety nadawane ramkom w tej warstwie (zwykle zgodnie ze standardem 802.1p). Część przełączników sieciowych ma również możliwość obsługiwania pola priorytetu IPToS pakietu IP warstwy 3. Pierwszeństwo ma zawsze priorytet warstwy niższej. Dodatkowo przełączniki wyposażone powinny być w mechanizmy HoL blocking prevention – czyli gwarantowania poprawnej pracy przełącznika w przypadku przeciążenia pojedynczych portów (mogłoby to wykorzystać całą przestrzeń bufora pamięci switcha) oraz zapobieganiu przepełnieniu tablicy MAC (przy przepełnionej tablicy adresów MAC przełącznik będzie działał jak hub, czyli powielał otrzymane ramki na wszystkie swoje porty). Przepełnianie tablicy MAC jest jednym z podstawowych ataków na sieci LAN Ethernet.
Wymagania funkcjonalne i techniczne
Urządzenia infrastruktury teleinformatycznej stosowane w energetyce są narażone na takie same zakłócenia jak tradycyjne wyposażenie podstacji, w związku z czym muszą mieć potwierdzoną odporność na występujące niekorzystne zjawiska i warunki środowiskowe. Wymaganą odporność określa fragment IEC61850-3 oraz standard IEEE1613. Urządzenia spełniające te kryteria gwarantują poprawną pracę dla wymienionych w normach warunków, co oznacza brak utraty danych i brak błędów transmisyjnych. Jeżeli chodzi o samą konstrukcję fizyczną urządzeń, standard nie narzuca żadnych wytycznych. Zwykle jest jednak ona konsekwencją wymagań związanych z jakością i niezawodnością transmisji. Dla zwiększenia niezawodności stosowane są urządzenia chłodzone pasywnie (konwekcyjne odprowadzanie ciepła), z możliwością zasilania z dwóch niezależnych źródeł. Testy EPRI z 1997 roku dowodzą, że obligatoryjne powinno być wykorzystanie połączeń światłowodowych. Często w praktycznych rozwiązaniach stosowany jest kompromis (związany z kosztem urządzeń i okablowania) i połączenia wewnątrz szaf realizowane są w z wykorzystaniem kabli typu – ekranowana skrętka miedziana.
Z technicznego punktu widzenia powinno się jednak stosować tylko połączenia światłowodowe. Zwykle w związku z niewielkimi dystansami stosowany jest światłowód wielodomowy. Coraz wyraźniej widoczny zaczyna być jednak trend stosowania połączeń jednomodowych, co podwyższa koszt wprowadzenia systemu, ale czyni go jeszcze bardziej uniwersalnym i przyszłościowym. Zastosowanie światłowodów przynosi dodatkowe korzyści związane z separacją elektryczną poszczególnych partii systemu. Do połączeń wykorzystywane mogą być różne złącza. Z analiz porównawczych i dotychczasowych doświadczeń uruchomieniowych wynika, że dedykowane powinny być tu złącza SC lub LC. Złącza te wykazują się zbliżoną tłumiennością i własnościami mechanicznymi. Złącze LC duplex zyskuje coraz więcej popularności ze względu na swoje mniejsze rozmiary. Dobrze, aby okablowanie i dobór urządzeń zakładały wykorzystanie jednego rodzaju złączy dla danego systemu stacyjnego, ponieważ eliminuje to potrzebę stosowania przejściowych kabli połączeniowych.
Najważniejsze cechy funkcjonalne (oprócz wymienionych związanych ze sposobem przełączania) przełączników sieciowych to obsługa komunikacji grupowej (multikast) – zwykle na podstawie tworzenia tzw. wirtualnych podsieci VLAN, zgodnie z 802.1q, i ramek z etykietami priorytetów. Konieczna jest również obsługa protokołu rekonfiguracji topologii odpowiadającego za blokowanie tras nadmiarowych (do czasu awarii trasy podstawowej). Wymaganie dotyczące blokowania tras nadmiarowych związane jest z samą ideą przełączania – wystąpienie trasy zamkniętej – pętli, powodowałoby zdefiniowanie więcej niż jednej drogi do danego odbiorcy, co z kolei wpłynęłoby na powielanie pakietów krążących w sieci przez każdy kolejny przełącznik. Liczba pakietów w takiej sytuacji rośnie wykładniczo aż do całkowitego przeciążenia sieci określanego jako sztorm rozgłoszeniowy. Kolejne ważne aspekty funkcjonalności switcha to możliwość zdalnego i bezpiecznego audytu i zarządzania siecią, co realizowane jest zwykle za pomocą protokołu SNMP.
Wyzwania projektowe – wybrane mechanizmy inżynierii ruchu, zagadnienia migracji do nowych rozwiązań
Projekt sieci informatycznej stacji powinien oczywiście zacząć się od określenia liczby użytkowników wymieniających dane, rodzajów aplikacji i wykorzystywanych protokołów, identyfikacji funkcji zaimplementowanych w poszczególnych urządzeniach oraz ilości danych związanych z daną funkcją i wymagań transmisyjnych dla tych danych. Na potrzeby symulacji wykorzystano dostępne dane statystyczne z dotychczasowo uruchomionych stacji oraz przykładowe wyniki kalkulacji metodą PICOM, zaproponowaną przez komitet CIGRE. Wyniki te zostały uśrednione z odpowiednim marginesem, w celu symulowania najgorszego przypadku (np. w metodzie PICOM przyjęto implementację każdej funkcji w osobnym urządzeniu). Metoda PICOM pozwala na wyznaczenie ilości wymienianych danych bez uwzględnienia tzw. narzutu poszczególnych protokołów. Określenie wielkości prawdopodobnych strumieni danych dla poszczególnych części systemu wymaga przemnożenia tych danych przez współczynnik n, gdzie n, w zależności od implementacji, może wahać się od kilku do kilkudziesięciu [11]. Za wyjątkiem komunikacji na poziomie szyny procesowej wyniki oscylują w granicach kilku – kilkunastu Mb na poziomie stacji i pola. Przepustowość sieci na poziomie 100 Mb jest zdecydowanie wystarczająca dla spełnienia kryterium ilościowego. Dla szyny procesowej kryterium ilościowe również miałoby szanse być spełnione, dla niektórych, mniejszych systemów, mimo że natężenie ruchu jest największe właśnie tam.
Oprócz kryterium ilościowego należy jednak spełnić kryterium związane z czasem transmisji poszczególnych rodzajów danych. Dane szyny procesowej wymagają transmisji z minimalnymi opóźnieniami i przy zwiększonym obciążeniu opóźnienia wprowadzane przez sieci 100 Mbps nie są do zaakceptowania. Rozwiązaniem jest zastosowanie sieci 1 Gb. Na tym etapie, symulacja pomija wykorzystanie szyny procesowej w systemie.
Symulowany system sieciowy oparty na Ethernet obejmuje swoim zasięgiem poziom pola i stacji z przyłączem do systemów nadzoru wyższego poziomu. Dla przyjętego modelu podstacji najbardziej krytyczną czasowo jest komunikacja międzypolowa, czyli przesyłanie komunikatów GOOSE. IEC 61850- 5 definiuje klasy wydajności komunikacji i komunikaty GOOSE przypisane są do klasy 1A. Oznacza to, że całkowite opóźnienie transmisji powinno wynosić nie więcej niż 3 ms. Opóźnienie transmisji wynika z: opóźnienia nadawania, odbierania i przesyłu. Ich dopuszczalny udział procentowy określony został odpowiednio na poziomie 40 % (1,2 ms), 40 % (1,2 ms), 20 % (0,6 ms). Opóźnienie sieci LAN dla tych danych nie może więc przekraczać 0,6 ms [11].
Na opóźnienie wnoszone przez sieć składają się opóźnienia przełączania i kolejkowania przełączników oraz opóźnienie propagacji. Opóźnienia kolejkowania są zmienne i zależą od długości ramek, przepustowości łącza i natężenia ruchu w danym momencie [7]. W związku z tym, w projekcie należy uwzględnić zasadę stosowania jak najmniejszej liczby przełączników sieciowych o większej liczbie portów, szczególne dla łączenia zabezpieczeń i sterowników polowych (pod warunkiem, że łącze do każdego urządzenia w systemie lub samo urządzenie, jest rezerwowane). Na potrzeby symulacji przyjęto model stacji z dwoma rozdzielniami. Dla każdej rozdzielni przyjęto 15 pól. Każde pole obsługiwane jest przez sterownik polowy z opcją „dual homing” (podwójne połączenie – podstawowe (aktywne) i rezerwowe (blokowane sprzętowo)) oraz terminale zabezpieczeniowe – podstawowy i rezerwowy. Dla symulacji najgorszego przypadku każde połączenie zostało potraktowane jak osobne urządzenie generujące dane. W praktyce tylko połowa połączeń będzie aktywna w danym momencie.
W nastawni zaplanowane zostały sterowniki stacyjne (podstawowy, rezerwowy), stanowisko operatorskie HMI (dual homing), serwer WWW, bramka komunikacyjna, routery ze zintegrowaną ścianą ogniową (ang. firewall) (podstawowy, rezerwowy). Urządzenia poziomu nastawni komunikują się z urządzeniami poziomu pola z wykorzystaniem usług raportowania, zapisu/odczytu danych, oraz sterowań. Wszystkie te usługi wykorzystują pełny stos protokołów i w związku z tym zostały zasymulowane jako aplikacje bazodanowe i FTP ze względu na podobieństwo działania w aspekcie charakterystyki strumieni danych. Dodatkowo w nastawni zostały dodane aplikacje serwera WWW dla komunikacji z centrum nadzoru. Alternatywnie możliwe jest przeprowadzenie testów z wykorzystaniem strumieni danych protokołu IP określonych wybraną funkcją statystyczną. Zarówno terminale zabezpieczeniowe, jak i sterowniki polowe zostały zasymulowane z wykorzystaniem obiektów symulatora „Ethernet Station” lub „Ethernet_RPG_Station”, które pozwalają na określenie funkcji rozkładu ilości, częstości oraz długości generowanych pakietów.
Wyniki wstępnych symulacji
Symulacje prowadzono w oparciu o akademicką licencję oprogramowania OPNET ITGuru. W planach jest przeprowadzenie symulacji porównawczych bazujących na symulatorze NS-2, który jest dostępny na bazie licencji publicznej. Model przełącznika sieciowego symulatora OPNET pozwala na symulowanie działania VLAN 802.1q, nadawania priorytetów 802.1q, wykorzystania protokołu rekonfiguracji w standardzie RSTP 802.1w. Możliwości symulatora pozwalają m.in. na testowanie działania usług DiffServ (priorytety IPToS), dynamicznego protokołu filtrowania grup multikastowych – IGMP oraz na przeprowadzenie bardzo szczegółowych symulacji związanych z konkretną implementacją poszczególnych urządzeń oraz protokołów i aplikacji.
Na obecnym etapie przeprowadzono symulacje wstępne, obejmujące wybór odpowiedniej topologii sieci, konfiguracji protokołu RSTP, wykorzystanie kreowania podsieci wirtualnych wraz z nadawaniem priorytetów poszczególnym rodzajom ruchu, w kontekście opóźnień dla poszczególnych jego rodzajów. Dla wybranego modelu stacji zastosowano w sumie 12 szesnastoportowych przełączników sieciowych (z przeprowadzonych poszukiwań wynika, że są na rynku rozwiązania umożliwiające taką konfigurację portów i jednocześnie spełniające wymagania środowiskowe określone w normie). Wykorzystanie przełączników wieloportowych jest szczególnie istotne dla większych systemów, ponieważ ogranicza to liczbę przeskoków (ang. hop), powodujących opóźnienia w sieci. Optymalną wydaje się być topologia złożona z wzajemnie połączonych pierścieni (pierścień główny + osobne pierścienie dla każdej rozdzielni), ewentualnie topologia niepełnej siatki.
Pod względem technicznym oczywiście najlepiej byłoby, gdyby każdy przełącznik rozdzielni był bezpośrednio przypięty do przełącznika nastawni. Taka topologia generowałaby jednak nieakceptowalne koszty okablowania. Topologie połączonych pierścieni/niepełnej siatki są kompromisem pomiędzy kosztami okablowania a potrzebą zapewnienia niezawodności w formie budowania nadmiarowej topologii fizycznej. W przypadku topologii pierścieni lub niepełnej siatki, wskutek działania protokołu RSTP powstają podstawowe i zapasowe trasy przesyłu pomiędzy poszczególnymi urządzeniami w sieci. Protokół RSTP wyznacza trasy na podstawie algorytmu związanego z wyborem głównego przełącznika w sieci, tzw. „root” oraz wyznaczeniem portów dla tras podstawowych i rezerwowych. W projekcie powinna być uwzględniona konfiguracja protokołu RSTP – administrator może mieć wpływ na działanie protokołu poprzez zmianę poszczególnych parametrów przełączników (priorytet portu, priorytet przełącznika, parametry czasowe). Dobór usytuowania przełącznika głównego ma bezpośredni wpływ na długość tras przesyłu (a więc i opóźnienie) pomiędzy wybranymi urządzeniami w stanie normalnym i w stanach awarii. Na rysunku 5. przedstawiono szybkość działania RSTP-2004 (IEEE 802.1d wersja 2004 r.) dla topologii pojedynczego pierścienia (wyniki testów firmy GarrettCom, seria przełączników zarządzanych Magnum).
Protokół RSTP może działać dla całej struktury sieciowej (i w takiej formie jest obsługiwany przez większość przełączników sieciowych) lub dla poszczególnych sieci wirtualnych VLAN z osobna. Standard STP/RSTP jest standardem otwartym, co gwarantuje współpracę pomiędzy urządzeniami różnych producentów, należy jednak pamiętać o ograniczeniach poszczególnych wersji. Wersja standardu z 1998 roku zakładała ograniczenie do kilkunastu urządzeń (switchy, mostów, routerów) w sieci oraz charakteryzowała się stosunkowo długim (skala pojedynczych sekund) czasem rekonfiguracji. Ograniczenia te częściowo znosi wersja standardu 802.1d pochodząca z 2004 roku (pojedyncze ms/switch, kilkadziesiąt urządzeń w sieci), poprawiająca warunki zbieżności protokołu. Czas rekonfiguracji przełączników sieciowych jest istotny, ponieważ podczas zmiany topologii sieci komunikacja zostaje przerwana i wszystkie dane generowane podczas jej trwania będą utracone.
Dla przyjętego rozwiązania, czyli topologii wzajemnie połączonych pierścieni, sieci wirtualnych VLAN dla zabezpieczeń i sterowników każdej rozdzielni oraz przyznania najwyższego priorytetu dla ruchu symulującego przesyłanie komunikatów GOOSE, uzyskane na bazie wstępnych symulacji wyniki, dotyczące poziomu natężenia ruchu (20 - 30 % wykorzystania pasma) i wielkości opóźnień (0,5 - 0,8 ms), są satysfakcjonujące. W planach jest przeprowadzenie bardziej szczegółowych symulacji, ze szczególnym uwzględnieniem zachowania się opóźnień kolejkowania przełączników sieciowych.
Podsumowanie
Oprócz problematyki zagadnień związanych z funkcjonalnością systemu, projekt sieci powinien zwracać szczególną uwagę na kwestie bezpieczeństwa. Przeprowadzone symulacje i analizy systemu komunikacji zgodnego z IEC 61850 nie obejmują ani problemów komunikacji pomiędzy stacjami, ani zagadnień związanych z synchronizacją czasową. Nadal trwają prace nad częściami normy określającymi taką problematykę. Rozważane, ale niepostanowione, jest zastosowanie Ethernetu jako systemu globalnego (Ethernet end-to-end), szczególnie, że prace nad protokołami umożliwiającymi zastosowania Ethernetu na taką skalę nadal trwają [9]. Aktualnie można stwierdzić, że standard IEC 61850 został zaakceptowany w środowiskach energetycznych mimo sceptycznego podejścia na początku. Doświadczenia uruchomionych systemów pokazują łatwość w zastosowaniu i wygodę użytkowania, mimo skomplikowanej implementacji i dużego wysiłku początkowego. Obecnie dostępne są gotowe biblioteki ułatwiające wykonanie interfejsów komunikacyjnych zgodnych z normą. Zwiększa się również zakres doświadczeń i wiedzy związanej z ideą działania normy oraz zrozumienie zasad działania sieci przełączanej Ethernet. Dostępne są narzędzia, które w połączeniu z modelami komunikacyjnymi zdefiniowanymi w IEC 61850 umożliwiają przeprowadzenie symulacji działania systemu z perspektywy jego wymagań komunikacyjnych, co znacznie ułatwia projektowanie sieci.
Literatura
- A. Babś, J. Gurzyński, E. Matejek, J. Świderski, M. Tarasiuk, "Rozbudowa urządzeń automatyki elektroenergetycznej w celu uzyskania zgodności z normą IEC61850, IEN Gdańsk.
- M. Kondraciuk, Wybrane praktyczne aspekty zastosowania standardu IEC61850, „Automatyka Elektroenergetyczna” 2/2006.
- J. Gronowski, Dostosowanie istniejących systemów sterowania i transmisji do współczesnych wymagań w energetyce, „Automatyka Elektroenergetyczna” 1/2008.
- A. Babś, Problemy wdrożenia nowego standard komunikacyjnego IEC61850, „Automatyka Elektroenergetyczna” 1/2006.
- A. Babś, J. Świderski, M. Tarasiuk, E. Matejek, Standard IEC61850 - Systemy i sieci komputerowe w stacjach elektroenergetycznych, Materiały szkoleniowe IEN Gdańsk, 2009.
- K. Krysiak, Sieci komputerowe- kompendium, Wydawnictwo Helion 2005.
- Mahbub Hassan, Raj Jain, Wysoko wydajne sieci TCP/IP, Wydawnictwo Helion 2005.
- H. Zheng, Y. Zhao, and Changjia Chen - Beijing Jiaotong, Design and Implementation of Switches in Network Simulator (ns2), ICICIC'06
- K. Nowicki, Standardy IEEE wspierające koncepcje Ethernet end-to-end, „Przegląd Telekomunikacyjny” 4/2009.
- PN-EN 61850-3:2005 Systemy i sieci komunikacyjne w stacjach elektroenergetycznych. Wymagania ogólne.
- PN-EN 61850-5:2005 Systemy i sieci komunikacyjne w stacjach elektroenergetycznych. Wymagania dotyczące komunikacji w odniesieniu do funkcji i modeli urządzeń.
- PN-EN 61850-9-2:2006 Systemy i sieci komunikacyjne w stacjach elektroenergetycznych. Specjalne odwzorowanie usługi komunikacyjnej (SCSM). Wartości próbkowane przesyłane zgodnie z ISO/IEC8802-3.
- Zasoby firmy GarrettCom, www.garrettcom.com/library.htm