페이스북 데이터센터에서 얻는 8가지 교훈

페이스북이 더 나은 데이터센터 건립을 돕는 8가지 방법 페이스북이 자사 데이터센터 효율성의 비밀을 공개했다. 오픈소스를 활용한 오픈 컴퓨트 프로젝트(OCP) 전에 조직이 없었다는 등. OCP는 고효율 서버 컴포넌트- 마더보드에서 캐시까지-를 위한 구체적인 사양과 가이드라인을 제공한다. 전력 시설과 냉각 시설을 포함한 설비 하드웨어 같은 모든 시스템은 오레곤 주 프린빌에 있는 페이스북 데이터센터에 구축됐다. 기존 시설에서 비용을 줄이거나 좀더 효율적인 신규 데이터센터를 건립하고자 하는 기업이라면, 페이스북과 OCP 참여업체들이 공유한 비밀을 좀더 가까이 살펴봐야 할 것이다.

인텔 마더보드 OPC는 인텔 마더보드에서 크게 두 가지 사양을 제공한다. 하나는 전력 최적화한 것으로 자연 그대로를 살려 설계됐다는 점이며 다른 하나는 무료로 상당량의 전기를 끌어다 사용한다는 점이다. 버전 1.0은 18 DIMM 슬롯의 듀얼 소켓(인텔 제온 5500이나 인텔 제온 5600) 마더보드다. 버전 2.0 사양은 컴퓨팅 밀도를 두 배로 늘리면서 보드 당 차세대 제온 두 대를 사용하고 있다. 에너지를 절약하기 위해 같은 PCIe 레인, PCI 레인, USB 포트 및 SATA/SAS 포트처럼 사용하지 않는 기능들을 모두 비활성화시켰다. BIOS는 시스템 전력 소비를 최소화하도록 설계된 BIOS 사양이 요구된다. 구성 요소의 속도 및 전력 통계를 조정하도록 설정된 BIOS 설정 메뉴를 요구하고 있다. 다섯 개의 열 센서는 CPU, PCH, 유입구, 배출구 등의 온도를 모니터링한다. 이 센서들은 또한 효율적인 냉각을 보장하기 위해 자동으로 팬의 속도 제어를 지원하고 있다.

AMD 마더보드 인텔 마더보드와 마찬가지로 OCP는 AMD 보드에서도 크게 두 가지 사양을 제공한다. 버전 1.0은 24 DIMM 슬롯의 듀얼 소켓 AMD 옵테론 6100 시리즈 마더보드다. 버전 2.0는 AMD 매그니-코스(Magny-Cours) G34나 보드 당 인터라고스(Interlagos) CPU를 지원하는 컴퓨팅 밀도를 두 배로 늘렸다. AMD와 인텔 보드의 사양에는 전력 최적화를 위한 BIOS 설치와 내부 온도 센서 등 몇 가지 비슷한 점이 있다. 둘 다 전력 공급 장치와 직접적인 인터페이스가 있으며 서버의 두 보드가 동시에 현재 온도보다 높아지는 것을 방지하기 위해 AMD와 인텔 마더보드 모두 전력 사용을 갑자기 높이기를 지연시킬 수 있는 기능이 있다. CPU VRM은 전력 변환 시스템의 효율성을 높이기 위해 최적화 됐다.

94.5%의 효율적인 전원 공급 장치 OCP의 450W 전력 공급 시설은 전기 전환 과정 중에 낭비되는 전기를 없애도록 설계됐다. OCP는 자가냉각 공급과 두 개의 주입 연결기기와 함께 단일 전압의, 12.5VDC-공급량으로, 폐쇄된 프레임을 사용한다. 첫 번째 주입 연결기기는 전통적인 208VAC 시스템보다 높은 277VAC 전원을 허용하며 좀더 효율적인 전압에서 작동한다. 두 번째 주입 연결기기는 정전 발생시 전원을 공급하며 48VDC 전원을 받아서 사용한다. 지금까지 언급한 모든 것은 전원 공급 장치가 94.5%의 효율을 가진다는 것을 의미한다.

기본 사양만 담은, 서버가 쉬운 섀시 OCP 섀시는 기본 사양만 담은, 최대 두 맞춤형 마더보드와 전원 공급 장치에 대한 고도로 서비스 가능한 시설을 제공한다. OCP 섀시는 쉽게 장소에 마더보드를 끼우기를 승인해 주면서 나사를 필요로 하지 않으며 신속하게 설치하는 컴포넌트들을 boast한다. 하드 드라이브 및 냉각 팬은 스냅으로 잠그는 레일을 통해 끼운다. 섀시는 대형 방열판을 위한 공간을 제공하면서 높이는 1.5U에 이른다. 이 방열판은 훨씬 더 효율적으로 컴포넌트에서 열을 제거해 준다. 이 디자인은 더 적은 에너지를 소비하는 대형 팬을 사용한다. OCP 엔지니어링 매니저 아미르 마이클에 따르면, OCP 서버는 표준 1U 서버보다 가벼운 6파운드며 9분 이내로 조립할 수 있다.

실행을 위해 스프링 로드를 가져온 3중 랙 OCP 서버는 페이스북이 ‘3중 랙’이라고 부르는 곳에서 실행되도록 설계됐으며 이 랙은 인접한 세 개의 42U 컬럼들로 구성됐다. 각 랙은 상단에 2대의 스위치를 가지고 있으며, 각 칼럼들은 최대 30대의 서버를 보유할 수 있어 전체적으로 랙당 90대기 기계가 설치될 수 있다. 페이스북은 네트워크 포트에 추가 비용을 내고 싶어하지 않았다. "각 랙의 많은 서버들은 스위치의 포트를 사용하도록 특별히 맞춤 제작됐다"라고 OCP의 마이클은 말했다. OCP 서버와 마찬가지로 랙도 서비스 가능성을 염두에 두고 설계했다 : 관리자는 기존의 레일에 있는 슬라이딩 서버를 넣었다 뺐다 하는 대신 바로 마운트 서버를 설치할 수 있다. 스프링 로드 사용자는 여기에서 기기들을 보유할 수 있다.

서버의 효율적인 백업 유지하는 배터리 캐비닛 독립형 배터리 캐비닛은 AC 정전 사고에서 연속 배터리로 백업 DC 전원을 제공하고 있다. 단일 캐비닛은 케이블과 전원 스트립의 간단한 시스템을 통해 두 개의 3중 랙을 공급하고 있다. 각 캐비닛에는 충전을 위한 AC/DC 차단기뿐 아니라 배터리의 상태를 모니터링하는 기계도 들어있다. 배터리를 교체해야 하는 경우, 파견 나간 기술자에게 네트워크를 통해 알림 메시지가 전송된다. ODC의 마이클에 따르면, 배터리 시스템의 효율은 99.5%며 전통적인 UPS 시스템의 효율은 90~95%를 띤다.

비경제적인 전력 전환 감축하는 전기 시스템 페이스북은 오레곤 주 프린빌의 데이터센터에 OCP의 고효율 전기 시스템을 구축했다. 이는 바로 277VAC 서버 전원 공급 장치와 통합된 48VDC UPS 시스템이다. 이 시스템의 특징으로는 전기 변환 및 전환에서 오는 불필요한 손실을 없애 현장 변전소에서 전기를 공급하는 새로운 접근 방식이 있다. 페이스북에 따르면, 전기를 변환시키는 동안 일반적인 에너지 손실은 21~27%지만 프린빌 데이터센터의 경우 7.5%에 그친다. 기타 설계 요소로는 디젤 백업 발전기, 배터리 모니터링, 서버 배터리 백업, 그리고 에너지 효율의 LED 조명 시스템 등이 있다. 시스템은 미국 설비 기준(National Electrical Code), 미국 화재 예방 기준(National Fire Protection Code), 미국 전기전자학회(Institute of Electrical and Electronics Engineers), 미국 보험협회시험소인증(Underwriters Laboratory) 등이 제시한 기준들을 충족하거나 능가하도록 설계됐다.

ASHRAE 제한을 뛰어넘는 냉각 시스템 페이스북의 프린빌 데이터센터는 OCP의 고효율 냉각 시스템을 위한 쇼케이스로서의 역할도 맡고 있다. 이 냉각 시스템은 100% 공기를 활용해 경제적이다. 이 센터에는 냉각기도 냉각탑도 없다. 페이스북에 따르면, 이러한 접근은 수송관 없이 상층의 공기가 순환하면서 자동으로 온도를 조절하기 때문에 이 센터는 ASHRAE 정한 온도와 습도 범위에서 운영될 수 있는 것이다.