I en uheldig serie af nedbrud i Internap’s datacenter i Manhattan oplevede de fornyligt tre udfald på en uges tid. Alle tre var forårsaget af komponentfejl i nødstrømsanlæg (UPS-anlæg).
Det første nedbrud indtraf omkring 10:30 den 20. maj som følge af en fejl i en elektrisk kondensator på en af datacenterets UPS-anlæg. Sådanne kondensatorer har en gennemsnitlig levetid på syv år, og dem der brød sammen blev sidst udskiftet omkring tre år siden dvs. I 2011, trods den årlige UPS leverandør service.
Datacentret er ældre og har ikke den nyeste og mest avancerede infrastruktur. Det har redundant UPS forsyning men ikke alle lejere vælger at bruge redundans, fordi det koster mere.
Når kondensatorer bryder sammen på en af de systemer, hvor kunder, der har betalt for redundans er tilkoblede forsynes de automatisk fra de andre UPS-anlæg, hvor de “enkelt-trådede” kunder uden redundans så deres systemer gå ned i omkring tre sekunder indtil systemet skiftede dem til den offentlige strømforsyning.
Hver af de kunder i sidstnævnte gruppe var nede så længe det tog dem at bringe deres servere tilbage til normal. De forblev uden backup (UPS-anlæg) forsyning indtil næste morgen hvor de beskadigede kondensatorer blev udskiftet.
Defekt maksimalafbryder forårsager yderligere nedetid
Den samme gruppe af kunder, så deres udstyr gå ned to dage senere, omkring 10:40 den maj 22. Den anden strømafbrydelse skyldtes svigt af en udgangs afbryder på et af UPS-anlæggene.
Igen kunne de kunder der havde valgt redundant strømforsyning fortsatte ”business as usual”, mens den resterende kundegruppe forblev uden strøm i omkring fire timer, indtil serviceingeniørerne fik udskiftet den defekte bryder. Fordi den defekte udgangsbryder blokeret strømforsyningen for UPS-anlægget så kunne de berørte kunders udstyr ikke skiftes over til den offentlige strømforsyning som den var tilfældet da den første strømafbrydelse skete. Internap holder en oversigt over reservedele på stedet så det var et spørgsmål om, at få teknikere til bygningen ASAP sent på aftenen og få udskiftet bryderen. “Heldigvis for os har vi meget lydhøre leverandører,” sagde Higgins (Driftschefen). “Før åbningstid havde vi alle op at køre.”
Endnu et bryder relateret nedbrud
Problemerne i endnu et Internap datacenter kom blot et par dage efter i det Google-ejede (carrier hotel) hvor driften for omkring 20 kunder blev forstyrret herunder den velkendte online video streaming platform Livestream og StackExchange, et netværk af godt trafikerede hjemmesider for udviklere. Tilfældigvis skyldtes også dette nedbrud en udgangsafbryder på et UPS-anlæg.
Internap har en højere grad af redundans I dette datacenter men fordi sikkerhedssystemet registreret fejlen som en ” major fault” koblede det UPS-anlægget ud og lukkede for tilførslen af den offentlige strømforsyning.
Internap ville ikke kommenterer på hvem deres UPS leverandører i Manhattan var men sagde, at de var anerkendte førende mærker. Hvorvidt udbyderen vil holde sælgerne ansvarlig for hændelser er endnu uvist. Der er stadig en masse arbejde, at gøre for at komme til bunds i hver fejl.
Internap advarer kunder der går efter den billigere enkelte løsning uden redundans som altid vil være en mindre pålidelig forsyningsvej.
Kilde: http://www.datacenterknowledge.com
Kontakt os gerne for, at høre hvordan Norwerk Service kan hjælpe jeres organisation i bestræbelserne på at fungere mere sikkert og mere effektivt.
Skriv til service@norwerk.dk med spørgsmål eller eventuelle behov for service, site gennemgang etc., eller ring direkte til vores serviceafdeling på tlf. (+45) 70 12 13 17.
Døgnservice tlf. +(45) 60 13 13 17