데이터센터 가동 중단 원인 10가지 "인적 실수부터 화재까지"

데이터센터 가동 중단의 심각성은 낮아지고 있지만, 중단 관련 비용은 계속해서 상승 추세다. ‘중대한 사이트 가동 중단의 가장 큰 원인’은 정전이다. 네트워크 장애와 IT 시스템 문제 역시 데이터센터 중단의 원인이 되며 사람의 실수도 종종 중단의 원인으로 작용한다.
 
업타임 인스티튜트(Uptime Institute)는 최근 데이터센터 중단 보고서를 발행하면서 가동 중단의 유형과 빈도를 살펴보고 비용과 여파 측면의 피해를 분석하면서 이같은 문제를 지적했다.
 

 

신뢰할 수 없는 데이터는 계속 문제로 남아

업타임은 중단이 발생한 기업 일부의 투명성 부족, 그리고 보고 메커니즘의 낮은 품질을 고려할 때 중단 관련 데이터는 회의적으로 분석해야 한다고 설명했다. 업타임 연구 담당 이사인 앤디 로렌스는 업타임의 2023년 연간 가동 중단 분석(Annual Outages Analysis 2023)에 대한 브리핑에서 “중단 정보는 불투명하고 신뢰할 수 없다”라고 말했다.
 
로렌스는 항공 등 의무적인 보고 요건이 있는 일부를 제외한 나머지 업계에서는 보고가 제한적으로 이뤄진다면서 “데이터를 얻기 위해 자체적인 수단과 방법에 의존해야 한다. 다양한 이유로 가동 중단의 세부적인 정보를 공유하기를 원하지 않는 기업이 있다. 따라서 매우 세부적인 근본 원인 분석이 나올 때도 있지만 거의 아무런 정보도 없는 경우도 있다”라고 말했다.
 
업타임이 데이터를 수집하는 주요 출처는 업타임의 비정상 사고 보고서(Abnormal Incident Report, AIR) 데이터베이스, 자체 설문조사, 그리고 공개 보고서의 세 가지다. 공개 보고서에는 뉴스 기사, 소셜 미디어, 중단 트래커, 기업 성명 등이 포함된다. 정확도는 제각기 다르다. 예를 들어 공개 보고서의 경우 세부 정보가 부족하거나 정보를 제공하는 소스의 신뢰성이 낮을 수 있다. 업타임은 자체 설문에서 생산되는 데이터가 공정하고 품질도 높다고 본다. 응답자가 익명이고 각자 역할도 다양하기 때문이다. AIR은 데이터센터 소유자 및 운영자가 업계 내에서 자발적으로 공유한 세부적인 설비 수준 데이터로 구성되므로 역시 품질이 매우 높은 것으로 간주된다.
 

중단율은 소폭 감소 중

업타임은 가동 중단율이 최근 몇 년 사이 점진적으로 낮아지고 있다고 전했다.
 
총 중단 수가 감소하고 있다는 의미는 아니다. 사실 데이터센터 업계가 확장됨에 따라 전 세계적인 가동 중단의 수는 매년 늘고 있다. 업타임은 “이 수치는 IT 부하 대비 중단율이 높아지는 것 같은 착시 현상을 일으키지만, 사실은 그 반대”라며 “IT 또는 글로벌 데이터센터의 확장 속도에 비하면 중단 빈도 증가율은 낮은 편”이라고 보고했다.
 
업타임은 데이터센터 관리자와 운영자를 대상으로 2020년부터 2022년까지 실시한 4차례의 자체 설문을 통해 추적한 결과 전체적으로 사이트별 중단율은 꾸준히 감소하는 것으로 확인했다. 2022년 설문에서 지난 3년 사이 가동 중단을 경험했다고 답한 응답자는 60%로, 2021년의 69%와 2020년의 78%에서 감소했다. 
 
로렌스는 “가동 중단율이 조금씩 개선되는 것으로 보인다”라고 말했다.
 

가동 중단 심각도 감소

데이터센터 사이트의 60%는 지난 3년 사이 가동 중단을 경험했지만 그 중에서 심각 또는 매우 심각한 중단으로 분류되는 비율은 크지 않다.
 
업타임은 1~5단계로 중단의 심각성을 측정한다(5가 가장 심각). 1단계 중단은 무시해도 되는 수준이며 서비스 중단을 유발하지 않는다. 5단계 미션 크리티컬 중단은 실제 피해를 유발하는 중대한 서비스 및/또는 운영 중단으로 상당한 금전적 손실과 안전 문제, 규정 위반, 고객 손실, 평판 손상을 수반하는 경우가 많다.
 
전체 중단 중 5단계와 4단계(심각) 중단의 역사적인 비중은 약 20%다. 2022년에는 심각/매우 심각 범주의 중단이 14%로 줄어들었다.
 
업타임의 최고 기술 책임자인 크리스 브라운은 심각한 중단이 줄어든 주된 이유는 예기치 못한 사고에 대처하는 데이터센터 운영자의 역량이 강화된 데 있다면서 “시스템 설계와 운영 관리 역량이 대폭 향상되면서 하나의 장애 또는 고장이 심각한 중단으로 이어지는 사례가 줄어들었다”라고 말했다.
 
브라운은 오늘날의 시스템은 예비성을 갖추고 구축되며, 운영자는 비정상적 상황에 대응하고 중단을 방지할 수 있는 시스템을 만들도록 훈련돼 있다고 말했다.
 

금전적 피해는 증가 중

중단 사고 비용이 점차 증가하는 상황에서 디지털 서비스에 대한 의존도가 높아짐에 따라 비용 증가 추세도 계속 이어질 가능성이 높다.
 
지난 4년 동안의 업타임 설문조사 데이터를 보면 10만 달러 이상의 직간접적 비용이 발생한 대규모 중단의 비율은 증가하고 있다. 복구 비용이 10만 달러 미만인 중단 비율은 2019년에는 60%였으나 2022년에는 39%에 불과했다.
 
또한 2022년에는 응답자의 25%가 가장 최근 중단에서 100만 달러 이상의 비용이 발생했다고 답했으며 45%는 가장 최근 중단에 따른 비용이 10만 달러~100만 달러 사이라고 답했다.
 
브라운은 인플레이션으로 대체 장비 및 인건비가 더 높아진 것도 원인 중 하나라고 말했다.
 
더 중요한 부분은 기업이 비즈니스 운영을 위해 디지털 서비스에 의존하는 수준이다. 핵심 IT 서비스의 손실은 비즈니스 중단과 매출 손실로 직결될 수 있다. 브라운은 “이와 같은 가동 중단, 특히 심각하거나 매우 심각한 단계의 중단은 여러 조직과 많은 사람들에게 영향을 미칠 수 있다. 중단을 해결하는 데 드는 비용도 증가하고 있다”라고 말했다.
 

대형 중단 사건은 대부분 서드파티 업체가 원인

외부 서비스 제공업체로 아웃소싱되는 워크로드가 증가하면서 엔터프라이즈 고객 관점에서는 서드파티 디지털 인프라 기업의 안정성이 갖는 중요성이 커지고 있는데, 공개된 가동 중단 사고의 대부분이 이 같은 제공업체와 연관된다.
 
2016년 이후 추적된 모든 공개 가동 중단 사고 중 66%가 클라우드 제공업체, 디지털 서비스 제공업체, 통신 제공업체 등의 서드파티 상용 IT 및 데이터센터 사업자에서 발생했다. 연도별로 보면 비율은 올라가는 중이다. 클라우드 코로케이션, 통신 및 호스팅 기업에 의해 발생한 중단 비율은 2021년 70%에서 2022년 81%로 늘었다.
 
브라운은 “기업은 IT 서비스를 외부에 맡길 때는 실사를 수행해야 한다. 이 실사는 거래가 체결된 이후에도 계속되어야 한다”라고 말했다.
 

사람의 실수는 비교적 간단히 처리할 수 있는 요소

25년 동안의 데이터에 근거한 업타임의 추정에 따르면 사람의 실수가 중단의 유일한 이유나 근본 원인이 되는 경우는 거의 없지만, 전체 중단 중 66%~80%에서 부분적인 영향을 미친다. 그러나 업타임도 인정하듯이 사람의 실수를 분석하는 것은 까다로운 일이다. 부적절한 교육, 운영자 피로, 리소스 부족과 같은 문제는 정확히 파악하기가 어렵기 때문이다.
 
업타임은 사람의 실수와 관련된 중단은 대부분 담당자가 절차를 따르지 않거나(응답자의 47%가 선택) 절차 자체의 문제로 인해(40%) 발생한다는 것을 확인했다. 그 외의 일반적인 이유에는 서비스 내의 문제(27%), 설치 문제(20%), 인력 부족(14%), 예방적 유지보수 빈도 문제(12%), 데이터센터 설계 또는 누락(12%)이 있다.
 
긍정적인 면을 보면, 양질의 교육 및 관리 프로세스에 투자하면 큰 비용 지출 없이 중단을 줄이는 데 상당한 효과를 거둘 수 있다. 
 
브라운은 “이 문제는 은행에 가서 큰 자금을 조달하지 않고도 해결할 수 있다. 절차를 만들고 테스트하고 올바른지 확인하고 절차를 따르도록 직원들을 교육한 다음 실제로 따르고 있는지 감독해야 한다”라고 말했다.    
 
로렌스는 “사람의 실수는 많은 부분에 연관되는 만큼 이 부분을 해결하면 중단을 방지하는 데 있어 손쉽게 효과를 얻을 수 있다”라고 말했다.
 

전력 문제는 여전히 데이터센터 안정성의 골칫거리

업타임은 이번 설문에서도 이전과 마찬가지로 현장 전력 문제가 여전히 심각한 사이트 중단의 가장 큰 원인으로 파악됐다고 밝혔다. 대부분의 정전에는 여러가지 원인이 있고 이에 대한 보고의 품질 역시 고르지 않음에도 정전이 중단의 주 원인이라는 점에는 변함이 없다.
 
2022년 설문에서 응답자의 44%는 최근에 발생한 대규모 사고 또는 중단의 주 원인이 전력이라고 답했다. 전력은 2021년(43%)과 2020년(37%) 설문에서도 심각한 중단의 가장 큰 원인이었다.
 
업타임은 그 외에 네트워크 문제, IT 시스템 오류, 냉각 장애 역시 문제의 주 원인이라고 밝혔다.
 

네트워크 복잡성이 더 많은 중단으로 이어져

업타임은 2023 업타임 회복탄력성 설문조사에서 얻은 자체 데이터를 사용해서 네트워크 중단 추세를 살펴봤다. 설문 응답자 중 44%는 지난 3년 사이 네트워크 또는 연결 문제로 인해 발생한 대규모 중단을 경험했다고 답했다. 그렇지 않다고 답한 응답자는 45%, 모른다는 답은 12%다.
 
네트워킹 및 연결 관련 중단의 가장 일반적인 두 가지 원인은 구성 또는 변경 관리 문제(응답자의 45%), 서드파티 네트워크 제공업체의 장애(39%)다.
 
업타임은 이 같은 추세는 오늘날 네트워크의 복잡성에 기인한다고 분석했다. 업타임은 “동적으로 전환되고 소프트웨어로 정의되는 현대의 환경에서 네트워크를 관리하고 최적화하기 위한 프로그램은 지속적으로 조정되고 재구성된다. 이 과정에서 오류는 불가피하며 복잡한 고처리량 환경에서 자주 발생하는 작은 오류는 네트워크 전반으로 전파되어 억제, 진단 및 수정이 어려운 연쇄적 장애로 이어질 수 있다”라고 설명했다.
 
그 외의 주요 네트워크 관련 중단의 일반적인 원인에는 다음이 포함된다.
 

• 하드웨어 장애: 37%
• 회선 끊김: 27%
• 펌웨어/소프트웨어 오류: 23%
• 사이버 공격: 14%
• 네트워크/혼잡 장애: 12%
• 기상 관련 사고: 7%
• 손상된 방화벽/라우팅 테이블 문제: 6%

 

IT 시스템 및 소프트웨어 중단의 일반적인 원인

업타임은 회복탄력성 설문에서 지난 3년 동안 IT 시스템 또는 소프트웨어 장애로 인한 대규모 중단을 경험한 적이 있는지를 물었는데 응답자의 36%는 그렇다고 답했으며 50%는 그렇지 않다, 15%는 모른다고 답했다. IT 시스템 및 소프트웨어와 관련된 중단의 가장 일반적인 원인은 다음과 같다.
 

• 구성/변경 관리 문제: 64%
• 펌웨어/소프트웨어 장애: 40%
• 하드웨어 장애: 36%
• 용량/혼잡 문제: 22%
• 데이터 동기화/손상: 14%
• 사이버 공격/보안 문제: 10%

 

화재는 드물지만 막대한 피해 유발

공개적으로 기록된 중단에는 미디어에 보도된 중단이 포함된다. 여기에서 드러난 원인은 다양한데, 중단에 대한 미디어 소스의 지식과 이해가 각자의 관점에 근거하기 때문에 데이터센터 운영자 및 IT 팀이 보고하는 원인과는 다를 수 있다. 로렌스는 “흥미로운 점은 원인의 다양함이다. 이는 원인에 대한 대중과 미디어의 인식이 부분적으로 반영된 결과일 수 있다”라고 말했다.
 
공개 보고된 중단의 원인에 포함되면서 IT 관련 소스에서는 순위가 높지 않은 원인으로 화재가 있다. 업타임은 공개 보고 데이터센터 중단 중 7%가 화재에 의해 발생했음을 확인했다. 업타임 연구팀은 웹 브리핑에서 데이터센터 화재 사고는 리튬 이온 배터리 사용의 증가와 관련된다고 설명했다.
 
리튬 이온 배터리는 납축 배터리에 비해 공간을 적게 차지하고 유지보수가 간편하며 수명이 긴 대신 화재 위험이 더 높다. 로렌스는 프랑스의 맥스노드(Maxnod) 데이터센터에서 2023년 3월 28일 발생한 큰 화재를 언급하며 “리튬 이온 배터리에서 일어난 화재로 보고 있다”라고 말했다. SK 그룹이 소유하고 C&C 계열사가 운영하는 한국의 코로케이션 시설에서 2022년 10월 15일에 발생한 대형 화재의 원인도 리튬 이온 배터리로 알려졌다.
 
로렌스는 “화재는 매번 설문에서 빠지지 않고 나타나는 항목”이라고 말했다.
editor@itworld.co.kr