Analiza wybranych aspektów niezawodności i bezpieczeństwa w centrach przetwarzania danych

Centra przetwarzania danych (data center) powinny charakteryzować się szeregiem istotnych dla tego typu obiektów cech. Należą do nich m.in. [5]:

1. Bezpieczeństwo fizyczne. Oznacza to chroniony i zabezpieczony budynek wyposażony w systemy kontroli dostępu, przeciwdziałania napadom i sabotażom, telewizję przemysłową, odporny na zalanie i usytuowany poza strefą zalewową, aktywną sejsmicznie. Obiekt musi być wyposażony w system przeciwpożarowy i zapobiegający rozprzestrzenianiu się pożarów oraz w system gaszenia pożarów przeznaczony dla urządzeń elektronicznych i bezpieczny dla obsługi. Zainstalowane powinny być również ogniotrwałe sejfy. Szafy, poszczególne moduły i strefy bezpieczeństwa powinny być zabezpieczone przed fizycznym dostępem osób trzecich. Ponadto obiekt powinien być chroniony przez pracowników ochrony oraz posiadać dwie drogi dojazdu i ewakuacji.
2. Gwarantowane niezawodne zasilanie (szerszy opis w punkcie – niezawodność zasilania dla obiektów data center).
3. Zapasowe centrum przetwarzania danych – redundacja dotyczyć może również samego centrum przetwarzania danych. Oznacza to istnienie innego centrum przetwarzania danych fizycznie oddalonego i posiadającego te same systemy oraz podłączone do centrum przetwarzania danych kilkoma niezależnymi traktami światłowodowymi. Dostępność systemów w przypadku zdublowania data center szacować można na poziomie nawet 99,999%.
4. Obsługa data center – ciągłość pracy data center powinien gwarantować zespół inżynierów i specjalistów, nadzorujący wszystkie systemy przez 24 godziny na dobę przez 7 dni w tygodniu. Konieczne są procedury przeprowadzania konserwacji i testowania.
5. Bezpieczne środowisko pracy – do takich elementów zaliczyć można antyelektrostatyczną podłogę techniczną, redundantny i wysokowydajny system klimatyzacji, a także ochronę przeciwpyłową.
6. Kontrola zdarzeń – zapewnione powinno być monitorowanie i rejestracja w trybie ciągłym wszystkich, systemów data center. Każda szafa a także strefa budynku, powinna być objęta osobnym zestawem czujek i elementów kontrolnych gwarantujących natychmiastowe wykrycie zdarzenia, mogącego mieć wpływ na działanie data center.
7. Telekomunikacja – w celu realizacji usług operatorskich oraz biznesowych centrum przetwarzania danych jest włączone do sieci telekomunikacyjnej kilkoma niezależnymi liniami światłowodowymi.

Systemy monitoringu w sposób ciągły powinny kontrolować [5]: warunki środowiskowe data center, parametry pracy urządzeń i systemów data center, zdarzenia mogące mieć wpływ na bezpieczeństwo, awarie i usterki wszystkich systemów i urządzeń data center, zużycie energii elektrycznej w podziale na klientów lub szafy oraz podgląd z kamer.

Interesującym rozwiązaniem w zakresie budowy elementów data center jest wykorzystanie do takich obiektów tzw. kabiny (IT ROOM) (rys. 1.).

IT ROOM, zgodny z normą PN-EN 1047-2, ma głównie za zadanie zabezpieczyć sprzęt i dane w serwerowni przed pożarem, który może powstać na zewnątrz serwerowni. Przed ogniem wewnątrz serwerowni ma zabezpieczać system gaszenia gazem, np. FM200, lub inny system polegający np. na obniżeniu stężenia tlenu w powietrzu w serwerowni. Dość mało znanym faktem jest również to, że podczas pożaru, ze względu na różnicę temperatur po dwóch stronach ściany (pożar na zewnątrz serwerowni), ze ściany żelbetowej wydziela się duża ilość wody. Natomiast IT ROOM jest również szczelny, zapewniając utrzymanie wilgotności w bezpiecznych granicach.

Najważniejszymi parametrami gwarantującymi bezpieczeństwo sprzętu i danych w przypadku zastosowania takiej kabiny są [8]: eliminacja ulotu elektromagnetycznego, ochrona przed promieniowaniem elektromagnetycznym i jonizującym, odporność ogniowa polegająca na zachowaniu temperatury wewnątrz IT ROOM poniżej 70°C w trakcie pożaru na zewnątrz kabiny, odporność ogniowa polegająca na zachowaniu wilgotności wewnątrz IT ROOM poniżej 85% w trakcie pożaru na zewnątrz kabiny oraz ochrona przed włamaniem/kontrola dostępu.

Kabiny typu SMART SHELTER PLUS [8] mają lekką konstrukcję modułową, która może być poszerzana (rys. 1.).

Ściany, podłoga oraz sufit składają się z płyt warstwowych, które są ze sobą łączone na zasadzie „pióro + wpust” oraz mocowane specjalnymi zapinkami. Ponieważ IT ROOM jest poważną inwestycją, to konstrukcja modułowa jest istotna pod tym względem, że można taki IT ROOM rozebrać i złożyć w innym miejscu. To samo dotyczy możliwości rozbudowy.

Ze względu na swoją konstrukcję SMART SHELTER PLUS daje dodatkowe korzyści i funkcjonalności [8]:

• jest dodatkową mechaniczną przegrodą i zabezpiecza przed nieuprawnionym dostępem,
• jest dobrą izolacją termiczną, więc zapewnia oszczędności w klimatyzacji,
• jest szczelny, więc zabezpiecza przez przedostawaniem się do serwerowni kurzu, pyłów,
• jest konstrukcją stalową, więc zapewnia pewien poziom ekranowania,
• jest w pewnym stopniu wodoszczelny, więc zabezpiecza przed zalaniem, również wodą gaszeniową.

Oprócz dużej kabiny można zastosować także tzw. SMART BUNKER, czyli mały przenośny IT ROOM o wymiarach zewnętrznych np. 2,1´3,2´0,9 m (wys./szer./głęb.) i wadze 300 kg – wersja trzech szaf 19” połączonych ze sobą [8]. Wyposażony standardowo w klimatyzator i niewymagający dodatkowych prac instalacyjnych. Można go przemieszczać bez demontażu urządzeń umieszczonych wewnątrz.

Norma ANSI-TIA-942 dla obiektów data center

Organizacja Telecommunications Industry Association (TIA), należąca do American National Standards Institute (ANSI), opublikowała w 2005 roku wytyczne ANSI/TIA-942, które definiują 4 klasy niezawodności (tzw. Tier) dla obiektów typu data center (tab. 1.).

Preferowana klasa w nowoczesnych data center to Tier 3 oraz Tier 4.

Niezawodność zasilania w data center

Centra przetwarzania danych muszą zapewniać wyjątkowo niezawodne zasilanie. Zaniki napięcia mogą być przyczyną dużych strat ekonomicznych [10]. Na wysoką niezawodność zasilania składa się cały szereg elementów.

Pierwszym elementem, który podlega redundancji, jest zasilanie budynku z co najmniej dwóch niezależnych stacji WN/SN (optymalnie np. z dwóch niezależnych GPZ-ów). Wewnątrz budynku umieszcza się transformatory SN/nn zasilające rozdzielnice niskiego napięcia. Maksymalny czas przełączenia źródła zasilania nie powinien przekraczać 60 sekund. Do podstacji można doprowadzić również dodatkowo na przykład po dwa niezależne kable nn z dwóch różnych źródeł. Następny ważny element to synchronizowane zespoły prądotwórcze (minimum jeden), zapewniające pełne pokrycie zapotrzebowania na energię elektryczną. Wytyczne dla zespołów prądotwórczych zawierają normy ISO 8528 [8]. Wytyczne związane z silnikami Diesla określa norma ISO 3046. Natomiast wytyczne dla prądnic IEC 34-1 oraz BS4999.

Niezbędne są także wysokiej jakości zasilacze UPS pracujące równolegle. Przyjmujemy, że pożądany czas podtrzymania zasilania przez UPS powinien wynosić 10–30 minut i zapewnić pracę urządzeń IT do momentu startu zespołu prądotwórczego. Do zasilania aktywnych urządzeń sieci komputerowej zaleca się wykorzystać siłownię telekomunikacyjną dc 48 V z odpowiednią redundancją prostowników, baterii i z możliwością zwiększania mocy w przyszłości. Czas podtrzymania zasilania przez siłownię dc powinien wynosić co najmniej 60 minut. Istotny jest również dobór elementów niezwiązanych bezpośrednio z samym zasilaniem elektrycznym.

Należą do nich m.in. odpowiedni system podłóg (np. podniesiona podłoga techniczna), systemy: klimatyzacyjny, kontroli dostępu do pomieszczeń, detekcji dymu, gaszenia gazem obojętnym, niepalnych drzwi oraz pomieszczenia monitoringu. Trasa drabinek kablowych może być umieszczona pod podłogą techniczną na dwóch poziomach (jeden poziom przeznaczony do prowadzenia kabli zasilających 230/400 V ac, 48 V dc oraz uziemienia, natomiast drugi poziom drabinek kablowych przeznaczony do układania kabli światłowodowych i transmisyjnych). Drabinki kablowe mogą być zbudowane np. ze stali nierdzewnej, kwasoodpornej w ocynkowaniu elektrolitycznym i ogniowym Na rysunku 2. przedstawiono koncepcję zasilania centrum przetwarzania danych. Typowe zapotrzebowanie na moc dla serwerowni to około (600–1500) W/1 m2.

Przykładem urządzenia do zasilania dc w centrum danych może być Large Power Solutions (LPS) [2, 10]. Maksymalna moc tego zasilanego trójfazowo urządzenia to 378 kW (7875 A) w przypadku napięcia 48 V dc. Możliwy jest montaż do 126 prostowników w szafie 19-calowej. Współczynnik mocy wynosi ok. 0,99, natomiast sprawność powyżej 90%. Urządzenie wykorzystuje zaawansowane moduły nadzoru SM60 lub SM65. Do zdalnego sterowania i monitorowania można użyć programu PowerManager II. Do konfiguracji służy natomiast oprogramowanie DCTools.

Zasilacze UPS muszą spełniać odpowiednie normy [9]. Zakres bezpieczeństwa (instrukcje dotyczące bezpieczeństwa, zalecenia projektowe (m.in. ochrona przed porażeniem, izolacja), wymagania fizyczne (m.in. lokalizacja akumulatorów, mechaniczne), wymagania cieplne i elektryczne, wentylacja, metody badań, przewody, połączenia i zasilanie) określają normy PN-EN 50091-1 (w miejscach dostępnych dla operatorów)/PN-EN 50091-2 (w miejscach o ograniczonym dostępie)/PN-EN 62040-1.

W zakresie kompatybilności elektromagnetycznej (dopuszczalny poziom zaburzeń elektromagnetycznych szkodliwych dla urządzeń przewodzonych lub promieniowanych), poziom odporności na sygnały zaburzające (impulsowe lub ciągłe okresowe) przy różnych sposobach przenikania zaburzeń do urządzenia (pola elektromagnetyczne, przewody) określają normy PN-EN 50091-2/PN-EN 62040-2. Natomiast w zakresie wykonania (technologia VFD, VI oraz VFI w technologii transformatorowej lub beztransformatorowej) oraz testów – normy PN-EN 50091-3/PN-EN 62040-3.

Zasilacze UPS wykorzystywane w systemach data center powinny charakteryzować się najwyższą jakością wykonania oraz działania. Bazując na normach w zakresie wykonania UPS-ów w przypadku data center powinien to być model opisany w normie PN-EN 62040-3 jako: VFI|SS|111. Pierwszy człon oznacza technologię, w której wyjście jest niezależne od wartości napięcia oraz częstotliwości napięcia wejściowego (klasa on-line). Drugi człon SS oznacza, że napięcie na wyjściu UPS-a jest sinusoidalne o THDu <8% dla obciążeń liniowych i nieliniowych. Trzeci człon to charakterystyka dynamiczna zasilacza UPS – trzy cyfry oznaczają kolejno: właściwości dynamiczne wyjścia przy przełączaniu trybów pracy (np. falownik/bypass), właściwości dynamiczne wyjścia przy skoku obciążenia liniowego oraz właściwości dynamiczne wyjścia przy skoku obciążenia nieliniowego. Cyfry 1 oznaczają najlepsze właściwości w opisanych zakresach, czyli bezprzerwowo. Cyfra 2 oznacza czas do 1 ms, natomiast cyfra 3 oznacza czas do 10 ms.

W praktyce stosuje się zasilacze UPS klasy true on-line z podwójną konwersją. Istnieje ponadto kategoria tzw. beztransformatorowych zasilaczy UPS, również klasy True On-Line (technologia VFI).

Zasilacze UPS transformatorowe zapewniają izolację tylko pomiędzy obwodami dc a wyjściem UPS-a. Nie mają natomiast kontroli napięcia dc na bypass. Tego typu beztransformatorowe zasilacze UPS mają wiele zalet [8], jak np.: zwiększenie niezawodności (MTBF) i żywotności, zwiększenie sprawności ac/ac, zmniejszenie gabarytów i wagi, zmniejszenie poziomu zakłóceń EMI oraz mniejszy koszt (brak transformatora). W przypadku zasilacza UPS o mocy 100 kVA beztransformatorowego jego sprawność wynosi około 97%, natomiast tej samej mocy UPS wykonany w technologii z wykorzystaniem transformatora ma sprawność około 92%. Emisja ciepła jest natomiast 2,6 razy mniejsza (2,4 kW w stosunku do 6,4 kW).

Do zasilaczy mogących mieć zastosowanie w data center wykonanych w technologii beztransformatorowej (technologia VFI) należy np. seria zasilaczy Tajfun Eco Maxi wchodzących w skład rodziny EcoWind o mocach 60, 80, 100, 120, 160, 200, 250, 300 400 oraz 500 kVA (tabela 2. oraz fotografia 1.). Zasilacze Tajfun Maxi wykonywane w technologii beztransformatorowej mają bardzo wysoką sprawność (95,5% dla pracy on-line), małe wymiary oraz wagę [8]. Zasilacze tej serii mogą pracować równolegle bez ograniczenia liczby pracujących jednostek. Mogą być obciążane w 100% niesymetrycznie. Test baterii wykonywany jest automatycznie lub ręcznie bez konieczności przerywania pracy zasilacza. Komunikację z zasilanymi systemami zapewniają: złącze RS-232, TCP/IP, beznapięciowe styki przekaźników sygnałowych i specjalistyczne oprogramowanie CERBER.

Innym przykładem zasilacza UPS mającym zastosowanie w złożonych i dużych systemach zasilania gwarantowanego jest zasilacz UPS Powerline 33 LCD. Mogą one pracować w układach pracy równoległej oraz mają możliwość zwiększania czasu podtrzymania zasilania przez wykorzystanie dodatkowych modułów bateryjnych [15]. Zasilacze wykonane są w technologii VFI-SS-111. Zakres mocy wynosi do 300 kVA. Kolejnym przykładem może być zasilacz UPS Eaton 9395 UPS wykorzystywany w dużych centrach przetwarzania danych, służbie zdrowia i innych newralgicznych zastosowaniach [16]. Zakres mocy zasilacza wynosi od 225 kVA do 1100 kVA. Liczba jednostek mogących pracować równolegle wynosi 5. Zasilacz wykonany jest w technologii transformatorowej. Wybrane parametry zasilacza przedstawiono w tabeli 3.

Wartościowym rozwiązaniem dla data center jest wykorzystanie zasilaczy UPS o budowie modułowej [8]. Zasilacze takie również są wykonywane w technologii beztransformatorowej. Wymiana, dodawanie modułów możliwe są w trakcie pracy – technologia SAFE HOT SWAP – włączenie modułu polega na wsunięciu go do szafy (brak dodatkowych połączeń kablowych). Takie systemy oprócz zapewnienia redundancji zapewniają łatwą skalowalność, nieskomplikowany i szybki serwis, z uwagi budowę modułową (wzrost dyspozycyjności) oraz łatwe zarządzanie (wbudowane oprogramowanie diagnostyczne wykrywa sytuacje awaryjne). Współczynnik dyspozycyjności może dochodzić w tego typu systemach do wartości nawet 99,9999%. Zasilacze mogą być montowane w szafach i stojakach 19”. Zwiększanie mocy oraz czasu podtrzymania jest bardzo elastyczne w systemach modułowych zasilaczy UPS. Bardzo ważną cechą z punktu widzenia niezawodności jest brak wspólnych elementów koniecznych do działania systemu tzw. „single point of failure”. Fotografia 2. przedstawia przykłady systemu modułowego zasilaczy UPS w wersji z rozbudową pionową.

Rozwiązania zastosowane w data center dhosting.pl w Warszawie

Siedziba oraz serwerownie dhosting.pl znajdują się w budynku Orco Tower, zlokalizowanym przy Alejach Jerozolimskich 81 [8]. Budynek do grudnia 2005 roku był siedzibą Polkomtel S.A. (operator sieci PlusGSM), co sprawia, iż infrastruktura budynku była dostosowana do prowadzenia działalności telekomunikacyjnej. Lokalizacja data center została wybrana po przeprowadzeniu dogłębnej analizy technicznej. Pod uwagę brane były takie elementy, jak czynniki architektoniczne, dostępność zasilania, możliwość budowy systemu klimatyzacji o wystarczającej mocy, dostępna infrastruktura telekomunikacyjna oraz inne, mniej istotne uwarunkowania. Wykonane rozpoznanie potwierdziło możliwość budowy serwerowni spełniającej rygorystyczne wymogi klasy Tier-3 według normy ANSI TIA-942.

Zasilanie – system zasilania to jeden z kluczowych elementów, mających wpływ na dostępność usług świadczonych w data center. Zasilanie zapewniają aż cztery przyłącza średniego napięcia do dwóch miejskich ciągów liniowych. Układy automatyki SZR sterują zasilaniem doprowadzonym z dwóch stacji transformatorowych o mocy 1,6 MVA każda. Jako źródło zasilania awaryjnego zastosowany jest zespół prądotwórczy, a źródłem napięcia gwarantowanego są zasilacze UPS zwane stacją UPS. Podstawowa stacja UPS składa się z trzech jednostek wysokiej mocy, pracujących w trybie równoległym dla zachowania odporności na awarie oraz zwiększenia dostępnej mocy. Stacja UPS wyposażona jest w redundantny system klimatyzacji oraz niezależne stałe urządzenie gaśnicze (gaszenie gazowe). Ze stacji UPS zasilanie doprowadzone jest do głównej rozdzielni zasilającej, a dalej do rozdzielni elektrycznych niskiego napięcia w pomieszczeniach kolokacyjnych. Cały układ zasilania zaprojektowany został z uwzględnieniem możliwości przyszłej rozbudowy.

Pomieszczenia kolokacyjne – główna serwerownia została zbudowana od podstaw w precyzyjnie dobranym miejscu na 21. piętrze budynku Orco Tower. Dzięki zastosowaniu specjalnych rozwiązań przygotowane zostało w pełni zabezpieczone środowisko dla kolokacji nawet najbardziej wymagających instalacji serwerowych i telekomunikacyjnych.

Klimatyzacja – w serwerowni zastosowany został nowoczesny system klimatyzacji precyzyjnej, zapewniający właściwą temperaturę oraz wilgotność powietrza. Szafy klimatyzacyjne pracują w konfiguracji redundantnej i dysponują odpowiednim zapasem mocy. Schłodzone powietrze wtłaczane jest pod podłogę techniczną, skąd za pomocą kratek wentylacyjnych dostarczane jest przed szafy serwerowe. Optymalnie dobrany układ szaf w serwerowni zapewnia powstawanie tzw. korytarzy „zimnych” i „gorących”, co przekłada się na uzyskanie wysokiej sprawności całego systemu chłodzenia oraz dostarczanie do kolokowanych urządzeń odpowiedniej ilości chłodnego powietrza. Szafy klimatyzacji komunikują się ze sobą za pośrednictwem wydzielonej sieci przemysłowej, co zapewnia szybką reakcję układu na zmiany warunków pracy oraz możliwość pełnego monitoringu systemu przez operatorów.

Podłoga techniczna. Pomieszczenie wyposażone zostało w podłogę techniczną o rastrze płyt 600´ 600 mm, podniesioną na wysokość 50 cm nad poziom stropu. Podłoga posiada podwyższoną odporność ogniową REI60 oraz wykładzinę antyelektrostatyczną w jasnym kolorze.

Bezpieczeństwo pożarowe – serwerownia nadzorowana jest przez dedykowany system wykrywania i sygnalizacji pożaru, współpracujący z automatycznym systemem gaszenia ognia. Zastosowany typ środka gaśniczego jest w pełni bezpieczny dla pracujących pod napięciem urządzeń, jak również dla ludzi przebywających w pomieszczeniu. Zastosowany środek gaśniczy nie stanowi również zagrożenia dla środowiska naturalnego i nie ma wpływu na efekt cieplarniany. Centrala przeciwpożarowa serwerowni połączona jest dodatkowo z systemem zarządzania budynkiem oraz z systemem automatycznego powiadamiania straży pożarnej o wykryciu zagrożenia pożarowego.

Rozwiązania zastosowane w data center firmy 1&1 w Karlsruhe w Niemczech

Firma 1&1 specjalizuje się w hostingu, obecnie obsługuje ponad 9 mln klientów. Największe centrum danych firmy znajduje się w Karlsruhe w Niemczech [11]. W obiekcie znajduje się 11 pomieszczeń na serwery (łącznie 15 tysięcy serwerów w 660 szafach serwerowych). Serwerownia działa niemal bezobsługowo – pracownicy wchodzą tylko po to, aby wymienić lub dodać podzespoły. Firma zbudowała własną optyczną sieć szkieletową DWDM o przepustowości 210 Gb/s i posiada bezpośrednie połączenie z sieciami szkieletowymi największych dostawców internetu.

Zasilanie. Centrum danych zużywa tyle energii, ile około 20 tysięcy gospodarstw domowych. W razie awarii sieci energetycznej serwery są zasilanie przez trzy systemy UPS-ów wykorzystujących wytrzymałe, żelowe baterie. Czas pracy bateryjnej wynosi 17 minut. Tym niemniej już po około 20 sekundach przerwy w zasilaniu włączają się cztery zespoły prądotwórcze napędzane silnikiem Diesla. Zespoły prądotwórcze oraz zbiorniki z paliwem znajdują się na dachu budynku. Zbiorniki na paliwo są dwa: mniejszy podtrzymuje pracę centrum przez 4 godziny oraz większy, wystarczający na 24 godziny (w tym czasie zapewniona jest dostawa kolejnej porcji paliwa). Na dachu znajdują się również w specjalnie zabezpieczonych korytach kable energetyczne zasilające serwery oraz systemy chłodzenia. W ciągu 7 lat istnienia centrum danych już kilka razy generatory musiały być włączane z uwagi na awarie zasilania.

Bezpieczeństwo pożarowe. Specjalne laserowe detektory wykrywają dym oraz substancje chemiczne będące wynikiem spalania oraz wzrost jonizacji powietrza następujący przed wybuchem płomieni. W razie wykrycia pożaru powodują uwolnienie z butli nietoksycznego argonu, który usuwa tlen i powstrzymuje proces spalania, nie niszcząc cennego sprzętu. W centrum danych działa również system dźwiękowy oraz świetlny w przypadku pożaru. Detektory są ponadto połączone z siecią firmową, a przez nią z jednostkami straży pożarnej (dojazd trwa około 4 minut).

Systemy chłodzenia. Utrzymanie odpowiedniej temperatury oraz wilgotności w pomieszczeniach, szczególnie w serwerowniach, zapewniają klimatyzatory oraz systemy chłodzenia wodnego. W każdym pomieszczeniu jest od 5 do 6 klimatyzatorów o mocy 100 kW każdy. Dodatkowo na dachu są trzy coolery o mocy wyjściowej do 1 MW. Wodny system chłodzenia z rurami o dużej średnicy znajdujący się na dachu stosuje dwa niezależne obiegi wodne. Na dachu budynku znajduje się w sumie 8 zbiorników z wodą używaną do chłodzenia.

Redundancja. W celu zapewnienia nieprzerwanej pracy serwerów, wszystkie krytyczne elementy znajdują się na miejscu w budynku (nadmiarowy UPS, zespół prądotwórczy, klimatyzatory, routery, serwery oraz dyski twarde).

Literatura

1. Zasilanie Internetu – rozwiązania firmy BPS do zasilania sieci tworzących Internet, broszura informacyjna firmy BPS.
2. www.powerware.com/polska/
3. Janikowski A., Bezpieczne zasilanie, „Networld”, czerwiec 2000.
4. Vademecum teleinformatyka, część 3., wydanie specjalne miesięcznika „Networld”.
5. http://3servicesfactory.com/data_center_centrum_przetwarzania_danych.html
6. en.wikipedia.org/wiki/Data_center
7. http://dhosting.pl/o_nas/datacenter.html
8. http://www.fast-group.com.pl/
9. J. Wojciechowski, Normy i technologie zasilaczy UPS, Nowoczesne systemy zasilania gwarantowanego, jesień 2004, Fast Group.
10. P. Piotrowski, Bezpieczne zasilanie w sieciach komputerowych kampusowych i w nowoczesnych centrach danych, miesięcznik „elektro.info” nr. 3/2008, s. 110–117.
11. D. Skalska, Twierdza XXI wieku, dział aktualności, technologie-centrum danych, PC Format 1/2011.
12. http://www.datacenterknowledge.com/archives/2009/09/03/11-goes-unlimited-with-hosting-bandwidth/
13. http://sharepoint360.de/2011/06/08/bilderstrecke-1und1-dual-hosting-event-2011-in-karlsruhe/
14. http://www.pcformat.pl/Twierdza-XXI-wieku,a,1538
15. http://ever.eu/pl
16. http://powerquality.eaton.com
17. J. Wiatr, M. Orzechowski, M. Miegoń, A. Przasnyski, Poradnik projektanta elektryka systemów zasilania awaryjnego i gwarantowanego, Eaton, Warszawa 2008.

Chcesz być na bieżąco? Zapisz się do naszego newslettera!