Niezawodność zasilania gwarantowanego dla obiektów typu data center

1. Obiekt musi być wyposażony w system przeciwpożarowy i zapobiegający rozprzestrzenianiu się pożarów oraz w system gaszenia pożarów przeznaczony dla urządzeń elektronicznych i bezpieczny dla obsługi. Zainstalowane powinny być również ogniotrwałe sejfy. Szafy, poszczególne moduły i strefy bezpieczeństwa zabezpieczone powinny być przed fizycznym dostępem osób trzecich. Ponadto obiekt powinien być chroniony przez pracowników ochrony oraz posiadać dwie drogi dojazdu i ewakuacji.
2. Gwarantowane niezawodne zasilanie (ten punkt zostanie szerzej omówiony w tekście).
3. Zapasowe centrum przetwarzania danych – redundacja dotyczyć może również samego centrum przetwarzania danych. Oznacza to istnienie innego centrum przetwarzania danych fizycznie oddalonego i posiadającego te same systemy oraz podłączone do centrum przetwarzania danych kilkoma niezależnymi traktami światłowodowymi. Dostępność systemów w przypadku zdublowania data center szacować można na poziomie nawet 99,999%
4. Obsługa data center – ciągłość pracy data center powinien gwarantować zespół inżynierów i specjalistów, nadzorujący wszystkie systemy przez 24 godziny na dobę przez 7 dni w tygodniu. Konieczne są procedury przeprowadzania konserwacji i testowania.
5. Bezpieczne środowisko pracy – do takich elementów zaliczyć można antyelektrostatyczną podłogę techniczną, redundantny i wysoko wydajny system klimatyzacji, a także ochronę przeciwpyłową.
6. Kontrola zdarzeń – zapewnione powinno być monitorowanie i rejestracja w trybie ciągłym wszystkich systemów data center. Każda szafa, a także strefa budynku objęta powinna być osobnym zestawem czujek i elementów kontrolnych gwarantujących natychmiastowe wykrycie zdarzenia, mogącego mieć wpływ na działanie data center.
7. Telekomunikacja – w celu realizacji usług operatorskich oraz biznesowych centrum przetwarzania danych jest włączone do sieci telekomunikacyjnej kilkoma niezależnymi liniami światłowodowymi.

Systemy monitoringu w sposób ciągły kontrolować powinny [10]: warunki środowiskowe data center, parametry pracy urządzeń i systemów data center, zdarzenia mogące mieć wpływ na bezpieczeństwo, awarie i usterki wszystkich systemów i urządzeń data center, zużycie energii elektrycznej w podziale na klientów lub szafy oraz podgląd z kamer. 

Niezawodność zasilania gwarantowanego – klasyfikacja Tier

Klasyfikacja niezawodności dla obiektów typu data center zawiera istotne informacje związane z właściwym projektowaniem układów zasilania gwarantowanego. Klasy Tier zostały wprowadzone w celu podziału obiektów typu data center ze względu na ich fizyczną topologię infrastruktury, która wpływa na działanie systemów teleinformatycznych. Taki podział ułatwia określenie wydajności obiektów data center, ich dostępności, skali inwestycji oraz ich kosztów [1, 11].

Istnieją dwa podziały na klasy, oba zawierają cztery poziomy Tier. Pierwszy podział wprowadził Uptime Institute (UI) pod koniec lat 90. ubiegłego wieku. Podział zawiera różne topologie centrów przetwarzania danych wraz z ich poziomami dostępności oraz okresami niedostępności. Drugi podział na klasy został wprowadzony w roku 2005 przez Telecommunications Industry Association (TIA‑942) należąca do American National Standards Institute (ANSI). Podział powstał na podstawie m.in. informacji zawartych w publikacjach UI. Zawiera standardy dla obiektów typu data center, minimalne wymagania dotyczące infrastruktury, metody przechowywania plików i ich archiwizacji, opis kontroli dostępu do sieci, metody dystrybucji treści oraz zasady zastosowania hostingu. Oba standardy, mimo iż są podobne do siebie ze względu na podział na klasy Tier, różnią się podejściem do zagadnienia projektowania obiektów typu data center. W standardzie TIA, aby osiągnąć pożądany poziom dostępności, czyli w efekcie daną klasę Tier, należy spełnić wszystkie wymogi zawarte w opisie tej klasy. Niespełnienie któregoś z wymogów może uniemożliwić zakwalifikowanie do danego poziomu. W przypadku standardu UI omawianego w dalszej części tekstu, istnieje pewna dowolność rozwiązań stosowanych w poszczególnych zagadnieniach klas Tier pod warunkiem otrzymania wymaganego poziomu dostępności dla danej klasy.

Klasa Tier I

Obiekty tego poziomu wyposażone są w podstawową infrastrukturę zasilania gwarantowanego, co oznacza, że nie są wyposażone w komponenty nadmiarowe oraz posiadają jedną nie redundantną linię zasilającą [1, 6, 11]. Planowane przerwy konserwacyjne bądź nieplanowane przerwy spowodowane awarią powodują zaangażowanie w nie całej infrastruktury zasilania wraz z użytkownikami. Oznacza to całkowite wyłączenie systemu komputerowego wraz z całym jego osprzętem. Należy pamiętać, że dla zmniejszenia liczby nieplanowanych zakłóceń należy poddawać zabiegom konserwacyjnym elementy infrastruktury zasilania gwarantowanego oraz dokonywać niezbędnych napraw, przynajmniej raz w roku. Brak regularnego wykonywania powyższych czynności może powodować zwiększenie ryzyka nieplanowanych zakłóceń. Dla obiektu data center klasy Tier I oznacza to narażenie na częste przerwy w zasilaniu gwarantowanym. Typowo obiekty Tier I mają rocznie dwa dwunastogodzinne wyłączenia systemu związane z pracami konserwacyjnymi i naprawami. Z obserwacji prowadzonych na przestrzeni lat okazuje się, że te obiekty doświadczają średnio 1,2 awarii sprzętu lub ścieżki dystrybucji energii rocznie. Planowane i nieplanowane przestoje to łącznie około 28,8 godziny przerw w roku, co oznacza 99,671% dostępności. Ta klasa rekomendowana jest dla firm, w których technologie informacyjne wspomagają wewnętrzne procesy biznesowe oraz tych, dla których te technologie są potrzebne do zaprezentowania się w Internecie. Są to np. firmy, których zyski nie zależą od często występujących awarii zasilania. Na rysunku 1. przedstawiono przykładową topologię systemu zasilania gwarantowanego zgodnego z klasą Tier I. Jak wynika z rysunku 1., układ zasilany jest z sieci elektroenergetycznej poprzez automatykę SZR, która w razie zaniku napięcia w sieci energetycznej, przełącza układ na zasilanie z zespołu prądotwórczego. Następuje również w tym momencie rozdzielenie odbiorów kategorii I oraz II. Odbiory I kategorii zasilane są dalej poprzez zasilacz bezprzerwowy UPS, który powinien dostarczać im zasilanie przez okres potrzebny na rozruch zespołu prądotwórczego. W obiektach typu data center odbiory I kategorii to całość urządzeń IT. Odbiorami II kategorii są głównie urządzenia systemów chłodzenia, systemy wentylacji i klimatyzacji, które wznawiają pracę w momencie rozruchu zespołu prądotwórczego. Zarówno UPS-y, jak i zespoły prądotwórcze pracują w układzie „N”, co oznacza, że nie ma w tym układzie elementów redundantnych.

Klasa Tier II

W przeciwieństwie do klasy Tier I w klasie Tier II występują komponenty nadmiarowe (N+1), ale linia zasilająca wciąż nie posiada redundancji [1, 6, 11]. Planowane przerwy konserwacyjne elementów posiadających redundancję nie wpływają na prace odbiorów końcowych. Konserwacja ścieżki zasilającej wymaga wyłączenia zasilania sprzętu komputerowego. Błędy eksploatacji lub losowe awarie elementów infrastruktury mogą spowodować zakłócenia pracy obiektu data center. W obiektach klasy Tier II w ciągu dwóch lat występują średnio trzy planowane i dwa nieplanowane przestoje w zasilaniu. Dzięki komponentom nadmiarowym konserwacja niektórych elementów nie wymaga całkowitego wyłączenia zasilania, co oznacza możliwość częstszych przeglądów i spadek liczby awarii urządzeń mających wpływ na prace odbiorów końcowych. Roczne przestoje w zasilaniu to łącznie około 22 godzin, co oznacza 99,749% dostępności. Standard II jest odpowiedni dla przedsiębiorstw, których proces technologiczny ogranicza się do tradycyjnych godzin pracy, po których system może zostać wyłączony oraz firm opierających się na działalności internetowej, które nie ponoszą poważnych kar finansowych z tytułu jakości usług, bądź podmiotów gospodarczych nieposiadających zobowiązania dostarczania usług w czasie rzeczywistym. Na rysunku 2. przedstawiono przykładową topologię systemu zasilania gwarantowanego zgodnego z klasą Tier II Topologia poziomu II różni się od topologii poziomu I elementami nadmiarowymi. Oznacza to, że UPS-y i zespoły prądotwórcze są połączone w układy „N+1”. W razie awarii jednego z urządzeń pozostałe przejmują jego obciążenie, dzięki czemu odbiory końcowe pracują nieprzerwanie.

Klasa Tier III

Infrastruktura zasilania gwarantowanego obiektów klasy Tier III jest wyposażona w kilka niezależnych linii zasilających, ale tylko jedna z nich posiada komponenty nadmiarowe [1, 6, 11]. Dzięki takiemu rozwiązaniu, urządzenia IT mogą być wyposażone w dwa zasilacze i posiadać dwustronne zasilanie. Należy jednak pamiętać, że mimo kilku ścieżek dystrybucji energii elektrycznej, tylko jedna z nich jest aktywna w danej chwili. Taka architektura sieci sprawia, że każdy element zasilania gwarantowanego może być z niej usunięty nie powodując zakłóceń pracy odbiorów końcowych. Wszelkie naprawy i czynności konserwacyjne nie powodują zakłóceń pracy urządzeń IT, gdyż każdy element można zastąpić komponentem nadmiarowym przeznaczonym do przejęcia obciążenia na czas napraw. Należy jednak pamiętać, że w czasie prowadzenia prac konserwacyjnych, ryzyko wystąpienia zakłóceń chwilowo wzrasta (maleje niezawodność). Wynika stąd, że okres prac konserwacyjnych powinien być maksymalnie krótki. Topologia klasy Tier III zapewnia możliwość bieżących napraw i konserwacji jej elementów bez przerw w zasilaniu. W praktyce oznacza to zmniejszenie czasu wystąpienia awarii do 4 godzin, raz na 2,5 roku, oznacza to 99,982% dostępności rocznie. Klasa Tier III jest odpowiednia dla przedsiębiorstw, których praca wymaga dostępu do zasobów znajdujących się w obiektach data center przez 24 godziny, 7 dni w tygodniu, ale dopuszcza krótkie okresy braku tego dostępu w przypadku awarii. Ta klasa polecana jest również dla firm prowadzącym swoją działalność w Internecie, dla których brak odpowiedniej jakości usług, wiąże się z poważnymi konsekwencjami finansowymi. Na rysunku 3. przedstawiono przykładową topologię systemu zasilania gwarantowanego zgodnego z klasą Tier III. W strukturze poziomu III (rys. 3.) widoczna jest dodatkowa linia zasilająca odbiory końcowe, nie posiada ona jednak elementów nadmiarowych. Dodatkowa ścieżka zasilania ma zapewnić redundancję linii podstawowej na wypadek jej uszkodzenia, serwisu bądź przerwy w zasilaniu spowodowanej awarią linii średniego napięcia. Z tego względu dodatkowe linie dystrybucji zasilania powinny być zasilane z innej linii średniego napięcia niż linia podstawowa. 

Klasa Tier IV

Standard klasy Tier IV charakteryzuje się bardzo dużą tolerancją na jakiekolwiek zakłócenia [1, 6, 11]. Obiekty tej klasy posiadają kilka niezależnych, odseparowanych fizycznie od siebie systemów zasilania gwarantowanego, każdy wyposażony w komponenty nadmiarowe. Każdy element IT wyposażony jest w dwa zasilacze pozwalające na dwustronne zasilanie. Żadna z możliwych awarii urządzeń bądź systemu dystrybucji energii elektrycznej nie ma wpływu na zasilanie odbiorów końcowych. Wszystkie planowane konserwacje i naprawy mogą odbywać się nie powodując zakłóceń w pracy systemu teleinformatycznego. Odseparowanie od siebie systemów zasilania oraz systemów dystrybucji energii elektrycznej pozwala na wyeliminowanie miejsc, w których awaria mogłaby doprowadzić do konieczności wyłączenia dwóch lub więcej linii zasilających. Przepisy przeciwpożarowe wymagają wyposażania UPS-ów w możliwość podłączenia wyłącznika bezpieczeństwa EPO (Emergency Power Off), co oznacza, że w wypadku pożaru może dojść do zakłóceń w zasilaniu. Infrastruktura klasy Tier IV pozwala na zredukowanie liczby nieplanowanych zakłóceń do jednego w okresie pięciu lat, a czas jego trwania ograniczyć do 4 godzin. Zapewnia to 99,995% dostępności. Poziom ten osiągany jest dla firm, dla których wyłączenie obiektu data center oznacza duże straty finansowe. Mogą to być giełdy, systemy bankowe bądź instytucje mające zasięg globalny. Są to więc przede wszystkim przedsiębiorstwa wymagające bardzo wysokiego poziomu dostępności. Na rysunku 4. przedstawiono przykładową topologię systemu zasilania gwarantowanego zgodnego z klasą Tier IV. Topologia poziomu IV jest najdroższą i jednocześnie najbardziej niezawodną ze wszystkich topologii przedstawionych w klasyfikacji Uptime Institute. Na rysunku 4. przedstawiony został układ redundancji „2N”, ale możliwy jest także układ „2(N+1)” różniący się komponentami nadmiarowymi, których brakuje w układzie „2N”. Dwa niezależne od siebie źródła zasilania odbiorów powodują, że system nie posiada wspólnych punktów decydujących o dostępności systemu.

Porównanie klas Tier

Projektując system zasilania gwarantowanego dla centrum przetwarzania danych należy dokładnie przeanalizować specyfikę systemu IT danego obiektu [1]. Firma bądź instytucja, która będzie korzystała z tego obiektu musi orientować się jakie będą koszty ewentualnych zakłóceń w pracy odbiorów końcowych, aby można było wybrać odpowiednią topologię systemu oraz dobrać urządzenia zasilania gwarantowanego. W tabeli 1. przedstawiono podsumowanie wybranych wymagań dla poszczególnych klas Tier

W obiektach data center pojawia się wiele wspólnych cech dla poszczególnych klas Tier, z których nie wszystkie są wymaganiami standardu Tier (UI). Lista wspólnych cech została opracowana przez Uptime Institute – przedstawiono ją w tabeli 2. Tego typu zestawienie może być pomocne dla projektanta na etapie projektowania systemu zasilania gwarantowanego.

Zasilanie gwarantowane obiektów typu data center – uwagi praktyczne

Na wysoką niezawodność zasilania składa się w praktyce cały szereg elementów [9]. Pierwszym elementem, który podlega redundancji jest zasilanie budynku z co najmniej dwóch niezależnych stacji WN/SN (optymalnie z 2 różnych rejonów energetycznych). Wewnątrz budynku umieszcza się transformatory SN/nn w odpowiedniej podstacji. Maksymalny czas przełączenia źródła zasilania nie powinien przekraczać 60 sekund. Do podstacji można doprowadzić również dodatkowo np. po dwa niezależne kable nn z dwóch różnych źródeł. Następny ważny element to synchronizowane zespoły prądotwórcze (minimum jeden), zapewniające pełne pokrycie zapotrzebowania na energię elektryczną. Wytyczne dla zespołów prądotwórczych zawierają normy ISO8528. Wytyczne związane z silnikami diesla określa norma ISO 3046. Natomiast wytyczne dla prądnic IEC 34-1 oraz BS4999. Niezbędne są także wysokiej jakości zasilacze UPS pracujące równolegle. Przyjmujemy, że pożądany czas podtrzymania zasilania przez UPS powinien wynosić 10–30 minut i zapewnić prace urządzeń IT do momentu startu zespołu pradotwórczego. Zasilacze UPS muszą spełniać odpowiednie normy [12]. Zakres bezpieczeństwa (instrukcje dotyczące bezpieczeństwa, zalecenia projektowe (m.in.: ochrona przed porażeniem, izolacja), wymagania fizyczne (m.in.: lokalizacja akumulatorów, mechaniczne), wymagania cieplne i elektryczne, wentylacja, metody badań, przewody, połączenia i zasilanie) określają normy PN-EN 50091‑1 (w miejscach dostępnych dla operatorów)/PN-EN 50091‑2 (w miejscach o ograniczonym dostępie)/PN‑EN 62040-1. W zakresie kompatybilności elektromagnetycznej (dopuszczalny poziom zaburzeń elektromagnetycznych szkodliwych dla urządzeń (przewodzonych lub promieniowanych), poziom odporności na sygnały zaburzające (impulsowe lub ciągłe okresowe) przy różnych sposobach przenikania zaburzeń do urządzenia (pola elektromagnetyczne, przewody)) normy PN-EN 50091-2/PN-EN 62040-2. Natomiast w zakresie wykonania (technologia VFD, VI oraz VFI w technologii transformatorowej lub beztransformatorowej) oraz testów normy PN-EN 50091-3/PN-EN 62040-3. Zasilacze UPS wykorzystywane w systemach data center powinny charakteryzować się najwyższą jakością wykonania oraz działania. Do zasilania aktywnych urządzeń sieci komputerowej zaleca się wykorzystać siłownię DC 48 V z odpowiednią redundancją prostowników, baterii i z możliwością zwiększania mocy w przyszłości. Czas podtrzymania zasilania przez siłownię DC powinien wynosić co najmniej 60 minut. Na rysunku 5. przedstawiono ogólną koncepcję zasilania obiektu typu data center.

Podsumowanie

Obiekty klas I oraz II są najtańszymi w budowie, jednak współczynnik dostępności zasilania jest w nich na bardzo niskim poziomie. Każda awaria bądź przegląd techniczny wiąże się z przerwą w zasilaniu odbiorów końcowych, co może oznaczać straty finansowe [1]. Jeżeli koszty ewentualnych przerw w zasilaniu okażą się znaczne, to należy się zastanowić nad wyborem między poziomem III i IV. Topologia klasy IV daje najwyższą dostępność zasilania dla odbiorów końcowych, ale jest jednocześnie najdroższa, ponieważ wymaga zastosowania wielu często drogich elementów nadmiarowych. Ponadto pomimo większych kosztów projektu, budowy oraz utrzymania obiektu, otrzymujemy współczynnik dostępności na poziomie niewiele większym niż w obiekcie klasy III.

Optymalnym rozwiązaniem wydaje się obiekt klasy III, który w przybliżeniu może kosztować 50% więcej od obiektów klasy I lub II, ale jego dostępność będzie kilkukrotnie wyższa. Dodatkowo ta topologia jest znacznie tańsza od topologii klasy IV, a współczynnik dostępności jest niewiele mniejszy [4].

Należy pamiętać równocześnie, że jeżeli w centrum przetwarzania danych znajdują się solidne, odporne na uszkodzenia instalacje elektryczne stosowane w obiektach klasy IV, ale będzie wykorzystywany mechanizm systemu zasilania poziomu II, którego utrzymanie wymaga przerw w zasilaniu odbiorów końcowych, to wynikiem tego połączenia będzie dostępność obiektu na poziomie II.

Chcesz być na bieżąco? Zapisz się do naszego newslettera!