Analiza układów zasilania dla obiektu typu data center w zależności od wymaganego poziomu niezawodności (część 2)
porównanie niezawodności układów zasilania w standardach Tier
Schemat struktury niezawodności zasilania zgodnej z Tier IV 2N [34]
Bardzo wysoka niezawodność układów zasilania w centrach przetwarzania danych znacznie zwiększa koszty budowy systemu, rosnące przy tym znacznie szybciej niż odpowiadające im zmniejszenie czasu niedostępności systemu.
Zobacz także
Impakt SA Nowa rodzina zasilaczy PowerWalker UPS VFI EVS 5 kVA z magazynami energii
Seria PowerWalker VFI EVS to nowa generacja zasilaczy UPS, oferująca długi czas podtrzymania dzięki zastosowaniu baterii LiFePO4 o 40% mniejszej masie i wymiarach w odniesieniu do klasycznych baterii kwasowo-ołowiowych....
Seria PowerWalker VFI EVS to nowa generacja zasilaczy UPS, oferująca długi czas podtrzymania dzięki zastosowaniu baterii LiFePO4 o 40% mniejszej masie i wymiarach w odniesieniu do klasycznych baterii kwasowo-ołowiowych. Zastosowana topologia podwójnej konwersji (VFI-SS-311) gwarantuje najwyższy poziom bezpieczeństwa, a wyspecjalizowane układy utrzymują współczynnik mocy PF na poziomie > 0.99. Oczywiście zależy on od podłączonych urządzeń odbiorczych. Wszelkie informacje o stanie UPS widoczne są na...
Riello Delta Power Sp. z o.o. Projekt przygotowania zespołów prądotwórczych na potrzeby funkcjonowania nowych bloków gazowo-parowych w elektrowni
Firma Riello Delta Power Sp. z o.o. na przełomie lat 2022 i 2023 zrealizowała projekt zabudowy, produkcji, dostarczenia i instalacji dwóch zespołów prądotwórczych na potrzeby funkcjonowania nowych bloków...
Firma Riello Delta Power Sp. z o.o. na przełomie lat 2022 i 2023 zrealizowała projekt zabudowy, produkcji, dostarczenia i instalacji dwóch zespołów prądotwórczych na potrzeby funkcjonowania nowych bloków gazowo-parowych w jednej z kluczowych dla polskiego systemu energetycznego elektrowni w Polsce północno-zachodniej.
mgr inż. Dariusz Zgorzalski, EVER Sp. z o.o. Wybrane aspekty wymagań zasilaczy stosowanych do urządzeń przeciwpożarowych – na przykładzie zasilacza do napędów bram napowietrzających UZS-230V-1kW-1F firmy EVER
W poprzednich częściach dowiodłem, że zasilacze do bram napowietrzających stanowią istotny element systemu wentylacji pożarowej, od strony formalnej muszą posiadać świadectwo dopuszczenia CNBOP-PIB, a...
W poprzednich częściach dowiodłem, że zasilacze do bram napowietrzających stanowią istotny element systemu wentylacji pożarowej, od strony formalnej muszą posiadać świadectwo dopuszczenia CNBOP-PIB, a stosowanie niecertyfikowanych UPSów niesie za sobą ryzyko istotnych konsekwencji. Podkreśliłem, że świadectwo dopuszczenia CNBOP-PIB jest warunkiem koniecznym, ale nie wystarczającym. Kompatybilność funkcjonalna, elektryczna i mechaniczna całego systemu jest podstawą do tego, aby urządzenia działały...
StreszczenieW artykule przedstawiono analizę różnych układów zasilania według standardu Tier. Dla hipotetycznego obiektu typu data center obliczono współczynniki niezawodności dla różnych układów zasilania standardu Tier (I, II, III, IV 2N oraz IV 2(N+1)). Wykonano analizę poziomu niezawodności w zależności od kosztów budowy poszczególnych układów zasilania. Przedstawiono ponadto uwagi i wnioski końcowe.AbstractThe analysis of power supply systems for data center structures depending on required reliability level, part 2 – reliability comparison of particular power supply systemsThe paper presents analysis of particular power supply systems according to the Tier standard. In the hypothetical data center structure reliability coefficient were calculated for particular power supply systems of the Tier standard (I, II, III, IV 2N and IV 2(N+1)). The analysis of reliability level depending on construction costs for particular power supply systems were executed. Moreover results analysis and final conclusions were described. |
Obliczenia niezawodności układów zasilania
Infrastruktura zasilania centrum przetwarzania danych składa się z określonej liczby elementów powiązanych ze sobą daną topologią, która może tworzyć różne struktury niezawodnościowe: szeregową, równoległą lub mieszaną [4]. W praktycznie realizowanych układach w centrach przetwarzania danych najczęściej spotyka się strukturę mieszaną. W zależności od przyjętego standardu Tier i koncepcji zasilania można mieć do czynienia z różnymi odmianami tej struktury.
Stan przydatności urządzenia o szeregowej strukturze niezawodnościowej można określić za pomocą wzoru 1 [9]:
gdzie:
pi – współczynnik zdatności i-tego urządzenia,
qi – współczynnik niezdatności i-tego urządzenia.
Natomiast w przypadku struktury równoległej, gdy w N-elementowym układzie do prawidłowej pracy wymagane jest N-x elementów, to prawdopodobieństwo poprawnej pracy układu jest określone wzorem 2 [9]:
gdzie:
k – liczba elementów uszkodzonych,
x – liczba elementów rezerwowych.
Prawdopodobieństwo zdatności urządzenia o x elementach rezerwowych można opisać wzorem 3 [9]:
W celu oszacowania niezawodności poszczególnych rozwiązań zgodnych z Tier przyjęto czas dojazdu serwisu do miejsca awarii równy 4 godziny oraz średni czas czynności naprawczych równy 8 godzin. Łączny średni czas usunięcia awarii (czas dojazdu i naprawy) wynosi więc 12 godzin. Współczynnik dostępności zasilania z sieci elektroenergetycznej nn przyjęty zgodnie z [6] jest równy pnn=0,994958. Natomiast dla sieci SN współczynnik dostępności przyjęty zgodnie z [32] wynosi pSN=0,99996.
Obliczając współczynnik dostępności dla pojedynczego zespołu prądotwórczego przyjęto czas bezawaryjnej pracy MTBF=14 000 godzin. Na tej podstawie obliczono współczynnik dostępności Pagregat, korzystając ze wzoru (4):
Według tego samego wzoru obliczono poziom dostępności zasilacza UPS, przyjmując MTBF=75 000 godzin oraz MTTR=12 godzin [6], co dało poziom dostępności pUPS=0,99984.
Współczynnik dostępności dla poszczególnych rozdzielnic przyjęto równy prozdz=0,999908676. Przyjęto częstotliwość występowania zdarzeń losowych, takich jak pożar, powódź, katastrofy budowlane itp. równą jednemu zdarzeniu na 30 lat. Częstotliwość przerw w funkcjonowaniu serwerowni spowodowanych błędami ludzkimi oszacowano na jedno zdarzenie (przerwa 12-godzinna) na 15 lat, zarówno w pojedynczej ścieżce zasilania, jak i dla całej struktury, co dało zastępczy współczynnik zdatności o wartości pz=0,99990868. Zestawienie poszczególnych wartości p i q przedstawiono w tabeli 1.
Schemat struktury niezawodności dla układu zasilania opartego na standardzie Tier I przedstawia rysunek 1.
W tym układzie sieć elektroenergetyczna niskiego napięcia pracuje równolegle z zespołem prądotwórczym. Pozostałe elementy pracują w układzie szeregowym, do którego można uprościć tę strukturę (rys. 2.). Awaria pojedynczego elementu powoduje zakłócenie funkcjonowania serwerowni. Korzystając ze wzoru (3), obliczono prawdopodobieństwo zdatności układu równoległego o dwóch elementach N=2 (sieć elektroenergetyczna nn oraz zespół prądotwórczy), w którym jeden element jest rezerwowy x=1. Zestawienie obliczeń wartości współczynnika zdatności dla układu z rysunku 2. przedstawiono w tabeli 2.
Schemat struktury niezawodności dla układu zasilania opartego na standardzie Tier II przedstawia rysunek 3.
W układzie przedstawionym na rysunku 3. występuje nadmiarowość n+1 (ściśle 2+1). Zarówno zespoły prądotwórcze, jak i zasilacze UPS będą pełnić prawidłowo swoją funkcję, jeśli jeden z nich ulegnie awarii. Prawdopodobieństwo zdatności układu o trzech elementach N=3 (3 zasilacze UPS lub 3 zespoły prądotwórcze), w którym jeden element jest rezerwowy x=1, obliczono według wzoru (5) [9]:
Schemat uproszczonej struktury Tier II przedstawia rysunek 4. Natomiast zestawienie wartości współczynnika zdatności dla powyższego układu przedstawiono w tabeli 3.
Schemat struktury niezawodności dla układu zasilania opartego na standardzie Tier III przedstawia rysunek 5. W ścieżce drugiej (bez zespołu prądotwórczego i UPS-a) dodano dodatkowy element odzwierciedlający ewentualne zakłócenia w sieci elektroenergetycznej, które w przypadku obecności zasilacza UPS są przez niego filtrowane.
Obliczając niezawodności układu sieci elektroenergetycznej SN/nn z zespołem prądotwórczym powyższy schemat uproszczono do struktury pokazanej na rysunku 6.
Dwie równoległe ścieżki zasilania zastąpiono pojedynczym elementem o współczynniku przydatności takiej wartości, jaką dają dwie równoległe ścieżki (rys. 7.). Zestawienie wartości współczynnika zdatności dla powyższego układu przedstawiono w tabeli 4.
Schemat struktury zasilania zgodny z Tier IV 2N przedstawiono na rysunku 8.
Strukturę z rysunku 8. uproszczono do układu pokazanego na rysunku 9.
Następnie dwie równoległe ścieżki zasilania N zastąpiono pojedynczym elementem o współczynniku niezawodności o wartości odpowiedniej dla dwóch równoległych ścieżek bez nadmiarowości (rys. 10.).
Zestawienie obliczeń wartości współczynnika zdatności dla układu zasilania zaprojektowanego na podstawie Tier IV 2N przedstawiono w tabeli 5.
Schemat struktury niezawodności dla układu zasilania opartego na standardzie Tier IV 2 (N+1) przedstawia z kolei rysunek 11.
Po obliczeniu zastępczych współczynników zdatności układów redundantnych zespołów prądotwórczych oraz zasilaczy UPS, powyższą strukturę uproszczono do struktury pokazanej na rysunku 12.
W następnym kroku dwie równoległe ścieżki zasilania zastąpiono pojedynczym elementem o współczynniku przydatności o takiej wartości, jaką dają dwie równoległe ścieżki (rys. 13.). Zestawienie wartości współczynnika zdatności dla układu zasilania zaprojektowanego na podstawie Tier IV 2 (N+1) przedstawiono w tabeli 6.
Z przeprowadzonych obliczeń symulacyjnych wynika, że w przypadku standardu zgodnego z Tier I oraz Tier II największy wpływ na wartość współczynnika dostępności mają przeglądy okresowe [34]. Spowodowane jest to koniecznością planowego wyłączenia zasilania odbiorów końcowych wynikającego z braku alternatywnej ścieżki zasilania.
Standard Tier III, którego struktura pozwala przeprowadzać przeglądy danej ścieżki bez przerwy w zasilaniu odbiorów krytycznych, charakteryzuje się znacznym wzrostem współczynnika dostępności (zdatności) w stosunku do Tier I i Tier II.
Standard Tier IV charakteryzuje się jeszcze wyższym współczynnikiem dostępności. Jednak w porównaniu z Tier III nie jest to znacząca zmiana. Gdyby pominąć błędy ludzkie i zdarzenia losowe, centrum przetwarzania danych wykonane zgodnie z Tier IV byłoby praktycznie bezawaryjne [33]. W rzeczywistości zdarzenia takie jak pożar, zalanie wodą, katastrofy budowlane, pomimo że zdarzają się niezwykle rzadko, są prawdopodobne i znacznie ograniczają współczynnik dostępności.
W związku z powyższym wymagania dotyczące oddzielnego budynku dla centrów przetwarzania danych zgodnych z Tier III i Tier IV mają uzasadnienie, chociażby w przypadku pożaru powierzchni biurowej budynku, w piwnicy którego znajduje się serwerownia. W takiej sytuacji, nawet jeśli serwerownia ma oddzielny wyłącznik ppoż. i dowódca akcji ratowniczo-gaśniczej podejmie decyzję o pozostawieniu zasilania w serwerowni, może dojść do zalania pomieszczeń centrum przetwarzania danych wodą służącą do gaszenia.
Wydzielony dla centrum przetwarzania danych budynek zmniejsza ryzyko wystąpienia pożaru oraz umożliwia zastosowanie systemu gaszenia gazem obojętnym w całym budynku, co często umożliwia opanowanie ognia bez konieczności wyłączania urządzeń (oczywiście jedynie w przypadku małych pożarów). Przy gaszeniu pożaru ważne jest też jak najwcześniejsze wykrycie pożaru, co umożliwiają systemy sygnalizacji pożaru.
Analiza współczynnika dostępności układów zasilania w funkcji kosztów wykonania
Analizując koszty budowy poszczególnych układów zasilania, należy niewątpliwie zwrócić uwagę na wzrost niezawodności zasilania w zależności od zastosowanej konfiguracji. Zestawienie wartości współczynnika dostępności, średniego czasu niedostępności zasilania oraz kosztów budowy dla analizowanych układów przedstawiono w tabeli 7.
Zależność współczynnika dostępności od zastosowanego układu zasilania przedstawiono graficznie na rysunku 14.
Zmiana standardu z Tier I do Tier II, jak również z Tier II do Tier III znacznie wpływa na wartość współczynnika zdatności układu zasilania. Wynika to głównie z braku konieczności wyłączania zasilania odbiorów na czas konserwacji i remontów. Wartość współczynników dostępności dla wariantów Tier III, Tier IV 2N oraz Tier IV 2 (N+1) zmienia się minimalnie. Mimo to ten nieznaczny wzrost może być istotny w dążeniu do układu najdoskonalszego, dającego największą niezawodność funkcjonowania systemu zasilania.
Na rysunku 15. przedstawiono graficznie zależność średniego czasu niedostępności układów zasilania wyrażonego w godzinach w skali roku. Czas niedostępności zasilania w ciągu roku w zależności od kosztów budowy dla poszczególnych układów zasilania w standardzie Tier przedstawiono na rysunku 16. Natomiast na rysunku 17. przedstawiono wartości współczynnika dostępności w zależności od kosztów budowy dla poszczególnych układów zasilania w standardzie Tier.
Analizując koszty budowy oraz wartości współczynnika niedostępności można stwierdzić, że wzrost kosztów budowy w przypadku układów zasilania w standardach Tier II oraz Tier III w stosunku do Tier I jest w miarę adekwatny do wzrostu niezawodności zasilania (rys. 16. i 17). W przypadku układów zasilania w standardach Tier IV 2N oraz Tier IV 2 (N+1) widoczny jest znaczny wzrost kosztów wykonania, natomiast wzrost niezawodności jest praktycznie znikomy.
Wynika z tego, że w celu dążenia do dużej niezawodności zasilania uzasadnione jest inwestowanie w układ zgodny ze standardem Tier III. Na rysunku 18. przedstawiono graficznie wartości współczynnika niezawodności dla układów zasilania w standardach Tier III, Tier IV 2N oraz Tier IV 2 (N+1). Natomiast na rysunku 19. przedstawiono średni czas niedostępności zasilania w zależności od wybranego układu zasilania.
Różnice w obliczonych średnich czasach są wręcz pomijalne i z tego punktu widzenia inwestowanie dodatkowych pieniędzy w układ wyższy niż Tier III nie ma w zdecydowanej większości przypadków uzasadnienia. Warto jednak podkreślić, że czas ten można interpretować jako prawdopodobieństwo wystąpienia pojedynczej awarii w ciągu całego okresu funkcjonowania serwerowni (zazwyczaj jest to okres 10–15 lat).
W przypadku firm, dla których kluczowe jest bezpieczeństwo i są one w stanie ponieść bardzo wysokie koszty dla bardzo wysokiej niezawodności funkcjonowania systemów informatycznych (np. banki, operatorzy kart kredytowych, serwisy aukcyjne), podnoszenie standardu do układu 2N lub 2 (N+1) może być uzasadnione. Ewentualna przerwa w zasilaniu może dla takich firm wiązać się z utratą reputacji i zaufania klientów, co z kolei może spowodować w długim horyzoncie czasowym znacznie większe straty finansowe niż nakłady poniesione na budowę najbardziej niezawodnego układu zasilania.
Wnioski końcowe
Analiza wartości współczynnika niezawodności (zdatności) układu zasilania wykazała znaczną różnicę pomiędzy układem zasilania zgodnym ze standardem Tier I (średnio ponad 30 godzin przerwy w funkcjonowaniu w ciągu roku) – a układem zasilania zgodnym ze standardem Tier IV (statystycznie nieco ponad godzinę w ciągu roku).
Różnica polega również na tym, że przerwy w przypadku układu zasilania zgodnego ze standardem Tier I są pewne, gdyż wymagają tego przeglądy konserwacyjne, natomiast w standardzie Tier IV teoretycznie (z dużym prawdopodobieństwem) przez cały okres pracy ośrodka przetwarzania danych może nie mieć miejsca ani jedna przerwa [34].
Warto zwrócić uwagę na to, że w układach zasilania zgodnych ze standardami Tier III oraz Tier IV awarie urządzeń wchodzących w skład dwóch równoległych ścieżek zasilania mają minimalny wpływ na ewentualną niedostępność systemu. Pomijając błędy ludzkie i zdarzenia losowe, takie układy byłyby statystycznie niedostępne poniżej 5 minut w ciągu roku (w porównaniu do ponad 90 minut w rzeczywistych układach). Dlatego bardzo ważne jest dążenie do minimalizacji prawdopodobieństwa pomyłek przy przeglądach okresowych i naprawach. Można to osiągnąć poprzez odpowiednie zabezpieczenia techniczne, procedury eksploatacyjne oraz szkolenia personelu.
Wzrost współczynnika dostępności można również uzyskać poprzez minimalizację czasu potrzebnego na usunięcie usterki, minimalizację czasu reakcji na awarię oraz magazynowanie na miejscu podstawowych części zamiennych. Niestety, wzrost niezawodności wiąże się ze znacznym wzrostem kosztów budowy i eksploatacji. Koszt budowy układu zgodnego ze standardem Tier IV jest około trzykrotnie wyższy w stosunku do układu zgodnego ze standardem Tier I.
Optymalnym rozwiązaniem jest zastosowanie układu zgodnego ze standardem Tier III, który jest dwukrotnie droższy (na analizowanym przykładzie) niż standard Tier I, ale równocześnie zapewnia znacznie wyższy poziom dostępności (statystycznie około półtorej godziny w ciągu roku w stosunku do ponad 30 godzin dla standardu Tier I).
Pomimo wysokich kosztów, coraz częściej ośrodki przetwarzania danych projektowane są zgodnie ze standardem Tier IV. Wyższy koszt budowy takiego układu zasilania jest dla wielu firm stosunkowo mało istotny, z uwagi na to, że ewentualna przerwa w funkcjonowaniu ich infrastruktury IT może spowodować straty finansowe znacznie przewyższające nakłady finansowe związane z wykorzystaniem układu zasilania zgodnego ze standardem Tier IV zamiast standardu Tier III.
Literatura
- Uptime Institute. Tier Classifications Define Site Infrastructure Performance. [Online] http://www.greenserverroom.org.
- W. Pitt Turner IV, John H. Sander, Kenneth G. Brill. Xand. Xand. [Online] http://xand.com.
- Dennis Bouley. White Paper 103: How Monitoring Systems Reduce Human Error in Distributed Server Rooms and Remote Wiring Closets. [Online] www.apcmedia.com.
- Wiatr Julian, Miegoń Mirosław. Zasilacze UPS oraz baterie akumulatorów w układach zasilania gwarantowanego. Warszawa, Dom Wydawniczy Medium, 2008.
- Kuczyński Karol. Nadmiarowość w systemach gwarantowanego zasilania. Elektro.info, 6/2011, strony 36-37.
- Piotrowski Paweł, Bilmin Piotr. Analiza cech, kosztów i parametrów niezawodnościowych zasilania gwarantowanego sieci komputerowej. Elektro.info, 12/2010, strony 54-73.
- Torrell Wendy, Avelar Victor. White Paper 78: Mean Time Between Failure: Explanation and Standards. [Online] www.apcmedia.com.
- Kochel Mieczysław, Niestępski Stefan. Elektroenergetyczne sieci i urządzenia przemysłowe, OWPW, 2003.
- Wiatr Julian, Miegoń Mirosław, Orzechowski Marcin, Przasnyski Adam. Poradnik porojektanta elektryka systemów zasilania awaryjnego i gwarantowanego, Warszawa, EATON Corporation, 2008.
- Kjan Antoni, Markiewicz Henryk. Jakość energii i niezawodność zasilania w instalacjach elektrycznych, COSiW SEP, 2007.
- Wiatr Julian, Orzechowski Marcin. Poradnik projektanta elektryka, DW MEDIUM, 2008.
- Miegoń, Mirosław. Układy zasilania gwarantowanego. Elektro.info. 6/2009, strony 46-53.
- Piotrowski, Paweł. Analiza wybranych aspektów niezawodności i bezpieczeństwa w centrach przetwarzania danych. . Elektro.info, 6/2012, strony 46-51.
- Dziub Łukasz. Redukcja kosztów eksploatacyjnych UPS-ów Green Power 2.0. Elektro.info, 6/2012, str. 42.
- Avelar Victor. White Paper 158 : Guidance for Calculation of Efficiency (PUE) in Data Centers. [Online] www.apcmedia.com.
- APC by Schneider Electric. Jak uniknąć kosztów związanych z nadmierną wielkością instalacji w centrum przetwarzania danych. Elektro.info. 12/2011, strony 70-71.
- Stulz. Increasing performance, Reducing consumption. [Online] 2012. pl.stulz.com.
- Indirect Free Cooling. [Online] 2012. pl.stulz.com.
- T-systems. White Paper - Data Center 2020. [Online] http://www.t-systems.com.
- Niemann John, Brown Kevin, Victor Avelar. White Paper 135: Impact of Hot and Cold Aisle Containment on Data Center Temperature and Efficiency. [Online] www.apcmedia.com.
- Stulz. Dynamic Free Cooling. [Online] 2012. pl.stulz.com.
- Moss David L. Data Center Operating Temperature: The Sweet Pot. [Online] http://content.dell.com.
- Delta Power Sp. z o. o. Materiały prezentacyjne. 2011.
- Rasmussen, Neil. White Paper 157 : Eco-mode: Benefits and Risks of Energy-saving Modes of UPS Operation. [Online] www.apcmedia.com.
- White Paper 29: Rack Powering Options for High Density. [Online] www.apcmedia.com.
- White Paper 120: Guidelines for Specification of Data Center Power Density. [Online] www.apcmedia.com.
- Uptime Institute. Continuous Cooling. [Online] http://uptimeinstitute.com.
- Sutkowski, Tadeusz. Rezerwowe i bezprzerwowe zasilanie w energię elektryczną – Urządzenia i układy. Warszawa 2007.
- Socomec Group -1. Materiały techniczne. 2011.
- Wiatr Julian. Żródła zasilania awaryjnego i gwarantowanego w układach zasilania obiektów budowlanych. Elektro.info, 6/ 2009, strony 22-43.
- Katarzyński Jacek. UPS serii Green Power - najnowsze technologie oszczędzają środowisko i kieszeń inwestora. Elektro.info.6/ 2009, strony 57-59.
- Elżbieta Niewiedział, Ryszard Niewiedział. Aktualny stan elektroenergetycznych sieci dystrybucyjnych w polsce z punktu widzenia bezpieczeństwa zasilania. [Online] http://24ktp.pl.
- Woolley Bob. White Paper 2: Top 10 Mistakes in Data Center Operations: Operating Efficient and Effective Data Centers. [Online] www.apcmedia.com.
- Pająk Rafał: Analiza systemów zasilania ośrodków przetwarzania danych w zależności od wymaganego poziomu niezawodności funkcjonowania, praca dyplomowa magisterska, Wydział Elektryczny Politechniki Warszawskiej, Warszawa 2012.