IT infrastrucuur HOOFDSTUK 5 DATACENTRUM.pdf

5 Het datacentrum ................................................................................................................. 1 5.1 Soorten datacentra ...................................................................................................... 1 5.2 Locatie van het datacentrum......

5 Het datacentrum ................................................................................................................. 1 5.1 Soorten datacentra ...................................................................................................... 1 5.2 Locatie van het datacentrum....................................................................................... 2 5.3 Fysische structuur van het datacentrum ..................................................................... 3 5.3.1 De vloeren van een datacentrum. ....................................................................... 3 5.3.2 Muren, ramen en deuren ..................................................................................... 4 5.3.3 Waterleidingen en gasleidingen. ........................................................................ 4 5.3.4 Lay-out van het datacentrum. ............................................................................. 4 5.4 Stroomvoorziening in het datacentrum ...................................................................... 5 5.4.1 Stroomdichtheid ................................................................................................. 5 5.4.2 Uninteruptable Power Supply (UPS) ................................................................. 5 5.4.3 Stroomverdeling ................................................................................................. 6 5.5 Koeling van het datacentrum ...................................................................................... 8 5.5.1 Wet van behoud van energie: ............................................................................. 8 5.5.2 Hoe wordt een datacentrum gekoeld? ................................................................ 8 5.5.3 Temperatuur in het datacentrum......................................................................... 9 5.5.4 Andere luchtkwaliteitsparameters ...................................................................... 9 5.6 Kabels en patching ................................................................................................... 10 5.6.1 Kabelordening .................................................................................................. 10 5.6.2 Demarcatiepunt (demarcation point) ................................................................ 10 5.7 Brandpreventie, -detectie en -bestrijding. ................................................................ 10 5.8 Energie-efficiëntie van een datacentrum .................................................................. 11 5.8.1 PUE-score......................................................................................................... 12 5.8.2 DCiE-score ....................................................................................................... 13 5.9 Beschikbaarheid van een datacentrum ..................................................................... 13 5.9.1 Redundantie ...................................................................................................... 13 5.9.2 N, N+1, 2N en 2N+1 ........................................................................................ 14 5.9.3 Beschikbaarheid tiers ....................................................................................... 14 5.9.4 Redundant datacentrum .................................................................................... 15 5.10 Fysische beveiliging van het datacentrum................................................................ 16 5 Het datacentrum Het Utah Data Center, codenaam Bumblehive, is het grootste spionagecentrum van de Verenigde Staten en werd in september 2013 geopend in Bluffdale, Utah. Dit centrum is het eerste Comprehensive National Cybersecurity Initiative-datacentrum (CNCI) dat gebouwd werd ter ondersteuning van de United States Intelligence Community. Het centrum is gevestigd op een oude militaire basis. Bijna alle mogelijke elektronische gegevens, zoals e-mails, sms'jes en mobiele data van burgers worden er opgeslagen en geanalyseerd. Dit centrum is onderdeel van het National Security Agency (NSA). De NSA voert operaties in dit datacentrum uit. Het is private eigendom en wordt enkel gebruikt door de NSA. Er zijn tussen de 100 à 150 werknemers actief in het centrum. Dit project zou rond de 1,5 à 2 miljard dollar gekost hebben. Het Utah Data Center zou er gekomen zijn om toekomstige aanvallen tegen de Verenigde Staten te verijdelen, wat in het verleden mislukte. De NSA zou er exa- of zettabytes aan data kunnen opslaan. Ter vergelijking: dat zijn bijna 250 miljard dvd's of de helft van alle data die in 2011 wereldwijd werden gecreëerd of gekopieerd. (bron wikipedia) 5.1 Soorten datacentra Een datacentrum kan één ruimte in beslag nemen, één of meer verdiepingen of een eigen gebouw zijn. We spreken over 4 typische categorieën van datacentra. § § § § Sub Equipment Room (SER). Een SER wordt ook veel een patchkast genoemd. Ze bevatten patchkabels die verschillende ruimtes in een gebouw netwerk toegang geven. Ze bevatten ook typisch netwerkswitchen en andere kleine apparatuur. Main Equipment Room (MER): Een MER is een klein datacentrum veelal binnen het gebouw van de organisatie. Organization owned datacenter: Dergelijke datacentra bevatten alle centrale ITapparatuur voor een organisatie. Een organisatie kan meerdere datacentra hebben, meestal om beschikbaarheid te garanderen. Multi-tenant datacenter: Deze worden veelal gebruikt door (cloud) service providers en bieden IT-infrastructuur aan verschillende organisaties. Dergelijke datacentra zijn meestal groot (de grootste ter wereld). Als het datacentrum gebruikt wordt door slechts 1 organisatie is het niet onlogisch om dit onder te brengen binnen het gebouw van de organisatie. Voor grotere organisaties met meerdere locaties en complexe applicaties of voor internet of cloud-service providers wordt meestal gekozen voor een apart gebouw met een eigen locatie. De keuze van die locatie is niet zo evident. 1 5.2 Locatie van het datacentrum Om de locatie voor de bouw van een datacentrum te bepalen dienen veel factoren in rekening gebracht te worden. Omgeving & milieu § Is het mogelijk om op latere termijn uit te breiden? Hoewel de meeste datacentra zelf zo gebouwd zijn dat uitbreidingsmogelijkheden voorzien zijn in het centrum zelf, dient men rekening te houden met het vergroten van het centrum op (lange) termijn. § Is het datacentrum gelokaliseerd in een overstromingsgevoeliggebied? § Is er kans op milieurampen ? Bijvoorbeeld aardbeving, tsunami … § Wat is het klimaat van de locatie? Het koelen van het datacentrum is makkelijker en goedkoper als de omgevingstemperaturen laag en/of stabiel zijn. § Is het datacentrum gelokaliseerd in de buurt van potentiële gevaren? Bijvoorbeeld een chemische fabriek, vuurwerkopslag … § Wat zijn de misdaadcijfers in de buurt? § Welke (kwetsbare) infrastructuur is er in de buurt? Is het datacentrum dicht bij een luchthave, nucleaire centrale, grote verkeersassen of gevaarlijke kruispunten … § Is de locatie dicht bij de werkplek van de medewerkers? § Kan het datacentrum makkelijk bereikt worden via verschillende invalswegen? § Kunnen hulpdiensten makkelijk bereikt worden? Zijn politie, ziekenhuizen, brandweer dicht bij het centrum gelegen? Zichtbaarheid § Is de locatie van het datacentrum terug te vinden op kaarten? § Heeft het datacentrum ramen? Men heeft liefst geen ramen in een datacentrum. Ramen kunnen makkelijk gebroken worden .. § Kan je aan de buitenkant van het gebouw zien dat het gebouw een datacentrum is of een datacentrum bevat? Voorzieningen § Is het mogelijk om 2 onafhankelijke stroomleveranciers en internetproviders te hebben? § Kunnen de routes van de kabels naar het gebouw bepaald worden? Kan zowel stroom als internet op verschillende punten toegang krijgen tot het gebouw? § Kunnen kabels flexibel geplaatst worden binnen het gebouw? § Is het datacentrum in een gebouw waar ook andere bedrijfsactiviteit is? § Hoe zeker ben je van de stroomvoorziening? Kan de stroom op locatie makkelijk uitvallen? § Is er een mogelijkheid om hernieuwbare energie te voorzien (windmolens, zonnepanelen … etc) § Wat is de beschikbare snelheid van netwerken? Is het datacentrum in de buurt van een internet exchange point? … etc 2 Bij keuze voor het buitenland § Kan het land ten alle tijden bereikt worden? § Is het land politiek stabiel? § Zijn er specifieke wetten of regels die impact hebben op het datacentrum (of de activiteit van het datacentrum) § Heeft het land een hoog niveau van corruptie? § Hoe betrouwbaar zijn de lokale medewerkers? § Wat is de wettelijke status van een datacentrum en data in het land? 5.3 Fysische structuur van het datacentrum Om een datacentrum te bouwen wordt veelal gebruik gemaakt van enkele typische structurele elementen. 5.3.1 De vloeren van een datacentrum. De vloer van een datacentrum is eigenlijk vrij belangrijk. De vloer moet zo gebouwd zijn dat het grote gewichten kan dragen. Computerapparatuur kan heel zwaar zijn. Veel datacentra maken gebruik van verhoogde vloeren (razed floors). De bedoeling is om onder de vloer circuits te voorzien. Bijvoorbeeld stroomverdeling, netwerkkabels of koeling. Op vaste plaatsen wordt gebruik gemaakt van tegels die gemakkelijk verwijderd kunnen worden, om zodoende toegankelijkheid naar die circuits te garanderen. De circuits worden ook altijd goed gescheiden. Zodat stroom niet kan interfereren met netwerk kabels, om zodoende minder fouten te hebben. Indien de koeling gebeurt via water wordt meestal ook gezorgd dat water en stroom elkaar niet kunnen beïnvloeden. Veelal is water onder de vloer en de stroomverdeling en netwerkkabels komen wel binnen via de ‘raized floor’, maar bevinden zich hoger onder de vloer dan de waterleidingen. Bij een waterlek (water zal altijd naar beneden stromen) kan dus zeker geen kortsluiting ontstaan. De eigenlijke verdeling naar de verschillende racks gebeurt dan via kabelgoten aan het plafond. Het nadeel van verhoogde vloeren is dat ze duur zijn. Ook de gehoopte toegankelijkheid kan niet altijd gegarandeerd worden. Daarnaast is het veelal een open ruimte onder het hele datacentrum. Een kortsluiting kan dus eventueel zorgen voor brand in het ganse centrum. Meer en meer datacentra proberen oplossingen te voorzien zonder gebruik te maken van verhoogde vloeren. Dit kan echter alleen als de koeling van de lucht rond de racks niet via water gebeurt. 3 5.3.2 Muren, ramen en deuren Uit veiligheidsoverweging dienen de ruimtes binnen het datacentrum strikt gescheiden te zijn. De muren tussen de verschillende ruimtes dienen tot aan het plafond te rijken en brandbestendig te zijn zodat ze als fysieke “firewall” kunnen gebruikt worden. Liefst worden er geen (of weinig) ramen gebruikt en de ramen die gebruikt worden dienen verduisterd te zijn en onbreekbaar. De deuren in een datacentrum moeten zo ontworpen zijn dat ze inbraakbeveiligd zijn en brandbestendig (even brandbestendig als de muren). Nooduitgangen dienen duidelijk aangeduid te zijn en deuropeningen dienen zo ontworpen te zijn dat men makkelijk grote apparatuur naar binnen kan krijgen. 5.3.3 Waterleidingen en gasleidingen. Als het datacentrum een onderdeel vormt van een gebouw dat niet speciaal ontworpen is voor een datacentrum dan is de kans groot dat water en gasleidingen verwerkt zitten in de muren en vloeren van de verdiepingen. Men moet zoveel mogelijk vermijden dat waterleidingen boven computerapparatuur lopen. Bij een waterlek zal het water altijd naar beneden stromen en dus in contact komen met de computerapparatuur. 5.3.4 Lay-out van het datacentrum. Er zijn natuurlijk veel manieren om een datacentrum te bouwen, maar meestal wordt gebruik gemaakt van verschillende functionele ruimtes. Figuur 5-1: een voorbeeld van een plattegrond voor een datacentrum § § § § Computerroom: de ruimte die gebruikt wordt om de racks te huisvesten. Het gaat hier zowel over de servers, opslag, lange termijn opslag ..etc. Netwerkruimte: dit is de ruggengraat van het netwerk van de organisatie. Deze is verantwoordelijk voor het transport van data binnen het datacentrum en verdeling van data naar de rest van de organisatie. UPS: uninterruptable power supply (zie later). Stroomgenerator (UPS-generator): Een stroomgenerator om een lange stroomonderbreking te ondersteunen (veelal een dieselmotor om stroom op te wekken) 4 § § § § § § Koeling: het koelsysteem (zie later). Blusruimte: deze ruimte bevat het systeem om eventuele branden te blussen (zie later) Personeelsruimte/ operator ruimte: een ruimte voorzien voor personeel. Dit kan eventueel ook een vergaderruimte zijn. Veelal is aansluitend een ruimte voorzien waar monitoren staan en die toelaten om de computerapparatuur te onderhouden (alle onderhoud behalve fysieke vervangingen). Stockruimte voor onderdelen: een ruimte waar onderdelen bewaard worden die snel moeten vervangen kunnen worden. Loading bay: toegang voor leveranciers van apparatuur. Ingang: toegang tot het gebouw. 5.4 Stroomvoorziening in het datacentrum Stroom is één van de belangrijkste noodzakelijke voorzieningen van een datacentra. Kleine datacentra (bijvoorbeeld één rackserver) heeft maar nood aan enkel kilowatt (kW) stroom. Grote datacentra kunnen nood hebben aan heel veel megawatt (MW) stroom 5.4.1 Stroomdichtheid De hoeveelheid stroom die beschikbaar is een datacentrum wordt meestal uitgedrukt in kilowatts per vierkante meter. De stroomdichtheid bepaalt hoeveel apparatuur kan gehuisvest worden in een datacentrum. Een typisch ‘normal density datacenter’ heeft een stroomdichtheid tussen de 2 en de 6 kW/M2. Aangezien een typisch 19 inch rack ongeveer 1 M2 groot is, kan je hieruit berekenen hoeveel servers je van stroom kan voorzien. Stel dat een server 250 Watt stroom verbruikt, dan kan je tussen de 8 en de 24 servers per 19 inch rack voorzien (ook al is er plaats voor 40 servers in een rack) Bij ‘high density datacenters’ heeft men een stroomdichtheid tussen de 10 en de 20 kW/M2. Stel dat een server 250 Watt stroom verbruikt, dan kan je tussen de 40 en de 80 servers per 19 inch rack voorzien (ook al is er plaats voor 40 servers in en rack) 5.4.2 Uninteruptable Power Supply (UPS) Er kunnen verschillende problemen ontstaan van stroom. Deze problemen kunnen resulteren in het falen (niet meer beschikbaar zijn) van apparatuur of zelfs tot schade aan apparatuur of data. Enkele veelvoorkomende problemen zijn de volgende: § Blackout: een totaal verlies van stroom (stroomfalen al dan niet door de leverancier van stroom). Dit kan vele oorzaken hebben. Blikseminslag, menselijke factor ..etc. § Surgen: een periode van een te hoog voltage (wordt ook soms beschreven als swell). Dit kan bijvoorbeeld ontstaan wanneer bepaalde toestellen worden uitgeschakeld. § Spike: een plotse piek in het voltage. Deze ontstaan veelal door blikseminslag. 5 § § Brownout: een plotse val van het voltage (wordt ook soms aangeduid als sag). Deze duren meestal enkele seconden en worden veroorzaakt door een tijdelijke overbelasting van het powergrid (door bijvoorbeeld bepaalde toestellen aan te zetten). Waveform issues: ons elektriciteitsnet maakt gebruik van wisselstroom (AC) of dus stroom die in golven komt met een bepaald golflengte. Het aantal golven per seconde is de frequentie van stroom. Normaal is deze frequentie constant (50Hz), maar soms is die tijdelijk veranderlijk. Dit kan nefaste gevolgen hebben. https://www.vrt.be/vrtnws/nl/2018/03/05/loopt-uw-digitale-klokken-ook-achter--dit-isde-oorzaak/: “…Het Europese net draait op een frequentie van 50 hertz (Hz), dat betekent dat de spanning op het net 50 keer per seconde verandert. En dat geeft "impulsen" aan die digitale klok. Door de storing was de frequentie op het net de afgelopen weken lager dan 50. Daardoor tikten de wijzers minder snel en versprong de klok trager. Vandaar de vertraging bij al uw klokken in huis die werken op het elektriciteitsnet…” Een UPS voorziet hoge kwaliteit stroom en is onafhankelijk van de stroomleverancier. Een typische UPS voorziet filters die het effect van spikes en andere problemen minimaliseren. Het voorziet ook noodstroom voor het datacentrum indien de stroomvoorziening onderbroken wordt. UPS-installaties bestaat uit filters, een stroomgenerator (meestal een dieselmotor) en een hoeveelheid aan batterijen die het datacentrum van stroom kunnen voorzien in de periode dat de stroomgenerator opstart. Dergelijke batterijen moeten het datacentrum 5 à 15 minuten van stroom kunnen voorzien. Genoeg om de stroomgenerator op te starten. Er wordt meestal gebruik gemaakt van een grote hoeveelheid batterijen (meerdere racks vol batterijen) om genoeg stroom te hebben om het hele datacentrum te kunnen voorzien. UPS-systemen dienen op regelmatige basis onderhouden te worden. Batterijen zijn de zwakste schakel in een UPS. Ze hebben een beperkte levensloop (3 tot 5 jaar). Als batterijen op regelmatige basis worden opgeladen (en ontladen) kan hun capaciteit verkleinen. Maar ook de stroomgenerator dient onderhouden te worden. Bij een dieselgenerator dient de olie regelmatig ververst te worden en ook diesel kan maar beperkt bewaard blijven. 5.4.3 Stroomverdeling Om stroom te verdelen in het datacentrum wordt gebruik gemaakt van PDU’s (Power Distribution Units). PDU’s kunnen in de racks voorzien zijn (rack mounted) of opgebouwd worden op de grond (floor mounted). 6 Figuur 5-2: rack mounted PDU Stroom kan ook verdeeld worden via stroomrails (deze zijn meestal bevestigd aan het plafond en voorzien verschillende stroompunten voor de racks en de rack-PDU’s) Figuur 5-3: stroomrail De meeste servers en switches zijn zo ontworpen dat ze 2 (of meer) stroombronnen kunnen gebruiken. Op die manier kan men dus verschillende stroombronnen tegelijk aanbieden. Indien 1 stroombron faalt, kan de andere gebruikt worden. Er moeten dus minstens twee PDU’s aanwezig zijn om een toestel van stroom te voorzien. En elk van die PDU’s moet een andere stroombron gebruiken. Een typische stroomverdeling naar een rack ziet er als volgt uit: Figuur 5-4: Stroomverdeling rack. Een dergelijke connectie creëert 2 gescheiden stroomdistributiepaden. Als de utility-power faalt is de rack nog steeds voorzien van stroom door de UPS. Als de UPS faalt is de rack nog steeds voorzien van stroom door de stroomleverancier. Op die manier kan men ook de UPS 7 onderhouden. Tijdens zo een onderhoud is het datacentrum volledig afhankelijk van de stroom die geleverd wordt door de stroomleverancier. 5.5 Koeling van het datacentrum 5.5.1 Wet van behoud van energie: De eerste wet van de thermodynamica, ook wel Eerste Hoofdwet genoemd, stelt dat energie niet verloren kan gaan of uit het niets kan ontstaan. De wet staat algemeen bekend als de "Wet van behoud van energie". Er kunnen alleen omzettingen van energie plaatsvinden. De tweede wet van de thermodynamica stelt daarnaast nog andere voorwaarden aan de toegelaten omzettingen. (bron wikipedia) 5.5.2 Hoe wordt een datacentrum gekoeld? Een server krijgt elektriciteit. De verschillende componenten van een server creëren warmte (wet van behoud van energie). Opdat deze componenten niet zouden overhitten, dienen ze afgekoeld te worden. Via een ventilator zullen de componenten koude lucht aanzuigen. De componenten kunnen hun warmte afgeven aan de lucht en op die manier wordt de lucht opgewarmd (wet van behoud van energie). Deze warme lucht wordt afgevoerd naar de warme gang. Figuur 5-5: elektrische energie + koude lucht resulteert in warme lucht. Een warme gang is een gesloten ruimte tussen de verschillende racks. De servers (en andere ITinfrastructuur) die in deze racks bevestigd zijn, zijn zo georiënteerd dat ze de opgewarmde lucht naar binnen blazen in de warme gang (zie Figuur 5-6). Om de zoveel racks staat een in-row cooler, deze zuigt de warme lucht uit de warme gang aan en gaat die afgekoeld terug blazen in de ruimte buiten de warme gang. Figuur 5-6: werking warme gang 8 Er zijn verschillende manieren waarop die in-row coolers de warme lucht kunnen afkoelen. Ze kunnen gebruik maken van koelwater (CRAH-systemen) of ze kunnen gebruik maken van koellucht (CRAC-systemen). Het koelwater of de koellucht van het koelsysteem wordt hierdoor opgewarmd (wet van behoud van energie). Deze dient op zijn beurt gekoeld te worden. CRACsystemen gebruiken condensatiesystemen in de buitenlucht om lucht af te koelen. CRAHsystemen gebruiken grote chillers om het water te koelen in de buitenlucht. Meer dan 90% van alle stroom die gebruikt wordt door componenten van IT-infrastructuur wordt omgezet in warmte. Dat betekent dus dat een 1MW datacentrum, 900 kW aan warmte produceert. De enige manier om IT-infrastructuur werkende te houden is door deze warmte te koelen. 5.5.3 Temperatuur in het datacentrum De temperatuur in een datacentrum schommelt meestal tussen de 18 en 27 graden. Waar vroeger vooral gestreefd werd om dicht bij de 18 graden te zitten, wordt nu veelal hogere temperaturen toegelaten. Zeker als je rekening houdt dat 1 graad extra in een datacentrum 5% minder energiekosten voor koeling kan opleveren. Er wordt echter aangeraden om niet boven de 27 graden te gaan om het goed werken van de IT-infrastructuur te kunnen garanderen. Indien met toelaat dat de lucht opgewarmd wordt tot rond de 30 graden, zou het wel eens kunnen zijn dat bijvoorbeeld een CPU effectief 80 graden warm wordt. Bepaalde onderdelen (zoals een CPU) mogen niet warmer worden dan een bepaalde maximumtemperatuur om een goede werking te verzekeren. 5.5.4 Andere luchtkwaliteitsparameters Naast temperatuur dient men ook rekening te houden met de vochtigheidsgraad van de lucht binnen het datacentrum. Wanneer de lucht te vochtig is, kan dit resulteren in corrosie van mechanische onderdelen of bijvoorbeeld de werking van een tapestreamer beïnvloeden of de tapes beschadigen. Er wordt meestal gestreefd naar een vochtigheidsgraad tussen 40% en 60%. Als laatste probeert men ook rekening te houden met het aantal stofdeeltjes in de lucht van een datacentrum. Stof kan nefast zijn voor de werking van IT-infrastructuur. De beste manier om stof te vermijden is ervoor te zorgen dat er zo weinig mogelijk personen in het datacentrum zijn. En als er personen zijn, kan gebruik gemaakt worden van stofvrije kledij. 9 5.6 Kabels en patching 5.6.1 Kabelordening De TIA (Telecommunication Industry Association) heeft in 2005 de TIA 942 telecommunications infrastructure standards for datacenters opgesteld. Deze beschrijft gedetailleerd hoe de hiërarchische kabelstructuur er in een datacentrum moet uitzien. Daarnaast is het ook belangrijk dat men ordelijk werkt. Zo dient de zogenaamde ‘spaghettikabels’ vermeden te worden. De kabels moeten goed gelabeld zijn en mogen nooit in de weg hangen van koelelementen of mogen apparatuur niet onbereikbaar maken. Figuur 5-7: geordende netwerkkabels vs ‘spaghetti-kabels’ 5.6.2 Demarcatiepunt (demarcation point) Het demarcatiepunt is het punt waar het netwerk van de telecomoperator eindigt. Daar stopt ook de verantwoordelijkheid van de telecomoperator. Dit is dus ook het punt waar het netwerk van het datacentrum begint (en ook de verantwoordelijkheid). Het demarcatiepunt is meestal een kabel in een aparte (afgesloten) ruimte waar het ene stuk alleen toegankelijk is voor de telecomoperator en het andere stuk alleen toegankelijk is voor systeemmanagers van het datacentrum. Indien mogelijk worden best 2 of meer demaractiepunten in een datacentrum voorzien om single point of failure (SPOF) te vermijden. De kabels die vertrekken van het demarcatiepunt (en buiten het gebouw gaan) zouden dan ook best elk een verschillende route volgen. 5.7 Brandpreventie, -detectie en -bestrijding. Vuur is één van de grootste vijanden van een datacentrum. Omdat materiaal dicht bij elkaar gepakt staat en er veelal een enorm kluwen aan kabels is, kan brand snel ontstaan. Een kortsluiting in een kabel of een defect in bijvoorbeeld de koeling van een CPU is al voldoende om vuur te creëren. Omdat luchtstroom belangrijk is en bovendien veelal gebruik wordt gemaakt van een verhoogde vloer, kan brand (en rook) zich razendsnel verspreiden in een datacentrum. 10 Ook rook kan enorme schade aanrichten. Dus ook als de brand ontstaat in een ruimte waar geen materiaal is, dan nog kan deze schade berokkenen aan materiaal. Brand vermijden in een datacentrum gebeurt op 4 niveaus. § § § § Preventie van brand: de beste manier om brand te voorkomen is ervoor te zorgen dat brand niet kan ontstaan. De belangrijkste oorzaken van brand zijn oververhitting van apparatuur of kabels. ‘Spaghetti-kabels’ dient vermeden te worden, en PDU’s of andere stroombronnen mogen nooit overbelast worden. Branddetectiesystemen: rookdetectie, vlammendetectie en warmtesensoren moeten gebruikt worden om zo snel mogelijk een waarschuwing te krijgen van het ontstaan van brand. Vroegtijdige waarschuwingen kunnen bruikbaar zijn om de brand te voorkomen of snel onder controle te hebben. Wanneer bijvoorbeeld een toestel oververhit geraakt, dan kan je de stroom afsluiten voor er brand ontstaat. Of een kleine, beginnende brand kan geblust worden door personeel met blusautomaten. Passieve brandbestrijding: deze zorgt ervoor dat, eenmaal de brand begonnen is, de blootstelling aan brand zo kort mogelijk is. Muren, vloeren, deuren en plafonds dienen vuurbestendig te zijn, zodat ze het verspreiden van de brand vertragen. Fysieke firewalls kunnen gebruikt worden om onderdelen van het datacentrum te scheiden (bijvoorbeeld brandsluizen). Zelf de kleinste toegang tot een ruimte (bijvoorbeeld daar waar kabels toekomen) moet geïsoleerd worden met brandwerende materialen. Brandbestrijding: Om een brand te blussen zijn er 3 mogelijkheden.Verminder (of isoleer) de brandbare materialen die als voeding dienen voor de brand, verminder de warmte door bijvoorbeeld waterkoeling of verminder de hoeveelheid zuurstof. Brand heeft nood aan zuurstof om te kunnen branden. Zo gaat men gebruikmaken van een systeem dat op een heel snelle manier een ruimte gaat vullen met een inert gas (meestal Argon). Dergelijke vorm van blussen zorgt ervoor dat er geen extra schade wordt aangericht aan de overige apparatuur. Dit gebeurt onder hoge druk wat nefaste gevolgen kan hebben voor medewerkers die zich in de ruimte bevinden. Er worden dus altijd voldoende alarmsignalen voorzien alvorens de ruimte effectief te vullen met het inert gas. Figuur 5-8: een Argon brandbestrijdingssysteem 5.8 Energie-efficiëntie van een datacentrum US EPA schat dat 1,5% van alle elektriciteitsconsumptie van de Verenigde Staten gebeurt door IT-infrastructuur. 11 Volgens een studie van Gartner zou 2% van de wereldwijde CO2-uitstoot veroorzaakt worden door IT-infrastructuur. Dit is ongeveer de volledige jaarlijkse uitstoot van alle vliegtuigen wereldwijd gecombineerd. Grote datacentra proberen zo duurzaam mogelijk te opereren. Er wordt meer en meer ingezet om hernieuwbare energie te gebruiken. Daarnaast probeert men ook om de energie (warmte in de koellucht of koelwater) niet verloren te laten gaan, maar deze energie te benutten. Men kan deze bijvoorbeeld gebruiken om sanitair water op te warmen of gebouwen te verwarmen. Daarnaast kan ook enorm veel geld gespaard worden door energie-efficiënte datacentra te bouwen. 5.8.1 PUE-score Datacentra hebben niet alleen energie nodig om de IT-infrastructuur draaiende te houden (zoals voeding van de apparatuur). Een tweede belangrijke verbruiker van energie is de koeling. Zo zijn er warmtepompen nodig om het koelwater/lucht af te koelen. Het verbruik om elektrische stroom te transformeren naar het juiste voltage (transformator) moet ook in rekening gebracht worden. Daarnaast wordt ook energie verbruikt voor de algemene werking zoals verlichting, verwarming van personeelsruimte, beveiliging .. etc. Omdat elk nutteloos verbruik van energie ter discussie dient te staan, wordt in de meeste datacentra een ‘lights-out’ principe nagestreefd (dit wordt ook Dark datacenter genoemd). Als er geen personeel aanwezig is in bepaalde ruimtes van een datacentrum (wat eigenlijk het grootste stuk van de tijd zou moeten zijn voor bijna het hele datacentrum) dan worden er geen lichten aangestoken. De PUE waarde van een datacentrum wordt als volgt berekend: 𝑃𝑈𝐸 = 𝑇𝑜𝑡𝑎𝑙𝑒_𝑒𝑛𝑒𝑟𝑔𝑖𝑒_𝑑𝑎𝑡𝑎𝑐𝑒𝑛𝑡𝑒𝑟 𝐸𝑛𝑒𝑟𝑔𝑖𝑒_𝑣𝑜𝑜𝑟_𝐼𝑇-𝑎𝑝𝑝𝑎𝑟𝑎𝑡𝑢𝑢𝑟 Of je zou ook kunnen stellen: 𝑃𝑈𝐸 = 𝑃!" + 𝑃#$%&'()$*%#+, + 𝑃-),.+&/ + 𝑃)0,$+/ 𝑃!" Hoe dichter de PUE-score bij 1 ligt, hoe energie-efficiënter het datacentrum is. 12 5.8.2 DCiE-score Naast PUE wordt ook gebruik gemaakt van DCiE score (Data Center infrastructure Efficiency). Deze wordt berekend als 1/PUE Op die manier krijg je een percentage van efficiëntie. Het spreekt voor zich dat hoe dichter bij 100%, hoe energie efficiënter het datacentrum is. In Tabel 5-1 zie je hoe je deze waarde moet interpreteren. Tabel 5-1: interpretatie van de PUE en DCiE score Het datacentrum van Apple in North Carolina (USA) en Facebook in Zweden hebben elk een PUE-score van 1,1 (of een DCiE score van 90,9%) Het datacentrum van Google in Finland heeft een PUE-score van 1,08 (of een DCiE score van 92,6%). De 3 sites maken ook zoveel mogelijk gebruik van hernieuwbare energie. 5.9 Beschikbaarheid van een datacentrum 5.9.1 Redundantie Als je redundantie opzoekt in het woordenboek, dan betekent dit: “Het nodige te bovengaand; overbodig; overtollig” Binnen IT-infrastructuur wordt redundantie echter anders gebruikt. Hier betekent het: “Functioneel niet noodzakelijk, maar extra aanwezig om storingen of fouten in andere delen van het systeem te kunnen opvangen of een systeem efficiënter te laten werken; dubbel” Binnen een datacentrum is beschikbaarheid sterk afhankelijk van redundantie. Afhankelijk van de vooropgestelde vereisten van beschikbaarheid zal men meerdere onderdelen van het datacentrum redundant maken. Stel bijvoorbeeld dat men uitgaande data redundant wil maken, dan zal men dus minstens 2 kabels met uitgaande data moeten voorzien. Voor onderdelen als internet, stroom … etc. is redundantie dus minstens 1 extra instantie van dit onderdeel voorzien. 13 Sommige zaken binnen IT-infrastructuur zijn echter een verzameling van gelijkaardige componenten. Denk bijvoorbeeld aan een batterij in een UPS. Om de batterijen in een UPS redundant te maken hoef je dus niet 2 keer zoveel batterijen bij te houden. 5.9.2 N, N+1, 2N en 2N+1 Voor onderdelen van het datacentrum die bestaat uit een verzameling van gelijkaardige componenten wordt volgende regel toegepast. Stel dat je N componenten nodig hebt voor de vereiste capaciteit van het onderdeel. We spreken over N+1 redundantie als er een extra component voorzien is per vooropgestelde (N) hoeveelheid componenten. Meestal wordt 1 extra voorzien per 4 componenten. 2N redundantie betekent dat het systeem volledig redundant is. Er is dus een 2de identieke systeem. We spreken over 2N+1 redundantie als we 2N en N+1 combineren Figuur 5-9: N, N+1, 2N en 2N+1 batterijen van een UPS 5.9.3 Beschikbaarheid tiers Het ‘Uptime institute’ heeft een classificatie ontworpen om beschikbaarheid van datacentra te bepalen. De classificatie maakt gebruik van 4 tiers. Een tier 1 datacentrum heeft een lagere beschikbaarheid dan een tier 4 datacentrum. Het instituut kan ook datacentra voor een bepaalde tier certificeren. Onderstaande tabel geeft een kort overzicht van de belangrijkste maatregelen die moeten voorzien zijn om tot een bepaalde tier te behoren. De echte richtlijn is veel gedetailleerder. 14 Tabel 5-2: Datacentrum tiers Tier Measures Expected downtime Tier 1 Availability: 99.671% Type: Basic Single path for power and cooling distribution No redundant components Downtime very likely for planned and unplanned maintenance Tier 2 Availability: 99.741% Type: Redundant components Fulfills all Tier 1 requirements Single path for power and cooling distribution Redundant components Downtime likely for planned and unplanned maintenance Tier 3 Availability: 99.982% Type: Concurrently maintainable Fulfills all Tier 1 and Tier 2 requirements Multiple active power and cooling distribution paths Only one path active Redundant components All IT equipment must be dual-powered Fulfills all Tier 1, Tier 2, and Tier 3 requirements Multiple active power and cooling distribution paths Redundant components All cooling equipment is independently dual-powered, including chillers and Heating, Ventilating and Air Conditioning (HVAC) systems No downtime due to planned maintenance Downtime unlikely for unplanned maintenance Tier 4 Availability: 99.995% Type : Fault tolerant No downtime due to planned or unplanned maintenance De tier-classificatie beschrijft de beschikbaarheid van het datacentrum, niet de beschikbaarheid van de onderdelen van het datacentrum. Een datacentra kan verschillende tier-levels hebben voor de verschillende onderdelen van het datacentrum. De rating van het hele datacentrum is gelijk aan de laagste tier-rating binnen het datacentrum. Tier ratings als 2,5 of 3+ bestaan niet. 5.9.4 Redundant datacentrum Een tier 4 datacentrum bouwen is niet altijd mogelijk. Stel bijvoorbeeld dat er maar 1 leverancier van stroom is in de regio. Een tier 4 datacentrum is ook altijd heel duur om te maken. Er zijn maar een klein aantal datacentra wereldwijd gecertificeerd als zijnde tier 4. In de plaats van een tier 4 datacentrum te bouwen wordt er eerder voor gekozen om een redundant datacentrum te voorzien. Dit is dus een 2de datacentrum dat kan overnemen indien nodig. Er zijn zelf organisaties die opteren om verschillende redundante datacentra te voorzien. Stel bijvoorbeeld dat een datacentrum een beschikbaarheid heft van 99,5% (lager dan tier 1). Dan kunnen 2 dergelijke datacentra samen een beschikbaarheid bereiken die gelijkwaardig is als één tier 4 datacentra. Er wordt echter aangeraden om een afstand van minstens 5km te voorzien tussen redundante datacentra. 15 5.10 Fysische beveiliging van het datacentrum Het fysiek beveiligen van een datacentrum bestaat er voornamelijk uit om toegang tot het datacentra te verhinderen. Alleen bevoegde personen dienen toegang te krijgen. Er moet een logbestand worden aangelegd dat bijhoudt wie het datacentrum ingaat, om hoe laat en wie wanneer weer naar buiten gaat. Deuren dienen voorzien te zijn van goede sloten of elektronische sloten. Elektrische sloten mogen alleen geopend worden via correcte authenticatie (bijvoorbeeld een pasje en of code) Er kunnen sluizen worden geïnstalleerd bestaande uit 2 deuren. In de tussenruimte kunnen allerhande beveiligingsmaatregelen voorzien zijn (camera, weegschalen om te voorkomen dat meer dan 1 persoon toegang heeft … etc). CCTV, bewegingsdetectie … etc; moet geïnstalleerd worden in alle zalen. Het aantal toegangspunten dient herleid te worden tot een strikt minimum. Het wordt ook best 24/7 bewaakt door beveiligingsmensen. En naast toegang tot het gebouw kan men best ook restrictie voorzien voor toegang tot het hele gebied rond het gebouw. 16