2017.03.10

페이스북과 MS, “더 빠른 서비스”를 위한 새로운 AI 서버 설계 공개

Agam Shah | IDG News Service
페이스북은 지난 수요일 소셜 네트워크와 관련한 몇 가지 놀랄 만한 통계를 발표했다. 매일 사용자들은 1억 시간의 비디오를 보고, 4억 명이 메신저를 사용하며, 9,500만 개 이상의 사진과 비디오가 인스타그램에 게시된다.

페이스북 데이터센터의 서버는 이러한 막중한 부하를 처리하면서 모든 서비스를 조율해 쾌적한 응답성을 유지한다. 또한 페이스북 서버는 머신러닝 기술을 사용해 서비스를 개선한다. 대표적인 예가 이미지 인식이다.

마이크로소프트 역시 서버 부하를 분산시킬 방법을 지속적으로 모색한다. 예를 들어 마이크로소프트 데이터센터는 코타나(Cortana)와 같은 자연어 서비스에 머신러닝을 적용한다.

두 업체 모두 이런 인공 지능 서비스에서 더 빠른 응답을 보장하기 위해 새로운 오픈소스 하드웨어 설계를 도입했으며, 이 설계를 통해 각자의 네트워크와 소프트웨어를 통해 더 많은 서비스를 제공할 수 있게 된다. 이 서버 설계는 수요일 오픈 컴퓨트 프로젝트 U.S. 서밋(Open Compute Project U.S. Summit)에서 공개됐다.

다른 기업들도 이fjs 서버 설계를 기준으로 사용해서 내부적으로 자체 서버를 설계한 다음 아시아로 보내 대량 생산을 할 수 있다. 페이스북과 구글이 몇 년 전부터 사용 중인 방식이다. 금융기관들도 자체 서버에 OCP 설계를 실험하고 있다.

페이스북의 빅 베이슨(Big Basin)은 독특한 서버 박스다. “JBOG(Just a Bunch Of GPU)”로 불리는 이 서버는 머신러닝을 위한 전례 없이 강력한 성능을 제공할 수 있다. CPU가 없으며 별도의 서버와 스토리지 박스에 연결해야 하는 독립된 박스로 가동된다.



빅 베이슨은 데이터센터에서 프로세싱, 스토리지, 네트워킹 유닛을 분리한다는 개념을 실천한 시스템이다. 독립적인 풀을 사용할 경우 스토리지와 프로세싱의 확장 속도가 훨씬 더 빨라지지만 지금과 같은 하나의 서버 박스에 집어넣을 경우 제한이 따른다. 프로세싱과 스토리지가 서로 근접하게 네트워크로 연결되면 연산도 훨씬 더 빨라진다. 분리된 각 유닛은 전원 및 냉각 리소스를 공유하므로 데이터센터의 전기 요금도 절약된다.

빅 베이슨 시스템은 새로운 페이스북 오픈소스 듀얼 CPU 서버 설계인 티오가 패스(Tioga Pass)에 연결할 수 있다.

분리된 데이터센터 설계는 페이스북, 구글과 같이 프로세싱 수요 증가에 대처하기 위해 수천 대씩 서버를 구매하는 기업에게 중요하다. 이런 기업은 스토리지, 프로세싱 및 기타 리소스를 분리함으로써 훨씬 더 빠르게 웹 서비스와 머신러닝 작업을 확장할 수 있다.

인텔의 랙 스케일(Rack Scale) 아키텍처 역시 비슷한 설계를 추구하며, 델, HPE와 같은 기업들은 이러한 서버 구현을 위한 청사진을 제시한다.

페이스북의 빅 베이슨 시스템에는 엔비디아 테슬라 P100 GPU 가속기 8개가 초고속 NV링크(NVLink) 상호접속을 통해 메시 아키텍처로 연결된다. 이 메시 상호접속은 일본 후지쯔의 AI 수퍼컴퓨터에 사용되는 엔비디아의 DGX-1 서버와 비슷하다.

다른 새로운 AI 서버 설계는 프로젝트 올림푸스를 발표한 마이크로소프트의 안으로, AI 코프로세서를 위한 공간이 더 많다. 마이크로소프트는 엔비디아 및 인그라시스(Ingrasys)와 함께 HGX-1이라는 GPU 가속기도 발표했다. HGX-1은 페이스북의 빅 서(Big Sur)와 비슷하지만 확장을 통해 32개의 GPU를 연결할 수 있다.

프로젝트 올림푸스는 서버 설비에 대한 큰 변화는 필요 없는, 전통적인 서버 설계에 더 가깝다. CPU, GPU, 메모리, 스토리지, 네트워킹이 하나의 박스에 들어간 1U 랙 서버다.

마이크로소프트의 새로운 서버 설계에는 인텔 스카이레이크와 AMD 나폴리를 포함한 최신 서버 칩을 지원하는 범용 메인보드 슬롯이 있다. 프로젝트 올림푸스는 x86에서 ARM으로의 크로스오버와 퀄컴 센트릭(Centriq) 2400 또는 캐비움(Cavium) 썬더 X2(Thuner X2) 칩 지원이라는, 서버에서는 좀처럼 보기 드문 구성을 추진한다.

퀄컴은 OCP 서밋에서 프로젝트 올림푸스 설계를 기반으로 하는 메인보드와 서버를 선보일 예정이다. 퀄컴 서버는 윈도우 서버를 실행하는데, 이렇게 되면 ARM 칩에서 윈도우 서버가 실행되는 최초의 사례가 된다.

범용 x86 및 ARM 메인보드 지원을 통해 고객은 새로운 하드웨어를 구매하지 않고도 칩 아키텍처를 전환할 수 있게 된다. 마이크로소프트 애저 하드웨어 인프라 부문 총괄 관리자인 쿠샤그라 바이드는 블로그에서 프로젝트 올림푸스에 ARM 지원을 구현한 것은 새로운 서버 설계의 큰 성과 중 하나라고 말했다.

인텔의 FPGA는 서버의 검색과 딥 러닝 애플리케이션 속도를 높여준다. 마이크로소프트는 빙 검색 속도를 높이기 위해 FPGA를 사용한다. 이 서버는 GPU와 같은 PCI-e 카드를 위한 최대 3개의 슬롯과 최대 8개의 NVMe SSD, 이더넷, DDR4 메모리로 구성된다. 또한 여러 개의 팬과 방열판, 정전 시 서버 실행을 위한 다수의 배터리도 탑재한다.

프로젝트 올림푸스 HGX-1은 NV링크 상호접속 기술을 통해 8개의 엔비디아 파스칼 GPU를 지원한다. HGX-1 AI 가속기 4개를 상호 연결해서 32개 GPU로 구성된 초대형 머신러닝 클러스터를 만들 수 있다.

엔비디아 가속 컴퓨팅 부문 부사장 겸 총괄 관리자인 이안 벅은 현재 데이터센터가 AI 컴퓨팅의 빠른 도입을 지원하기 위한 대대적인 변화의 과정에 있다고 말했다. 또 “마이크로소프트와 페이스북의 새로운 OCP 설계는 하이퍼스케일 데이터센터에서 막대한 AI 컴퓨팅 수요를 지원하기 위해서는 고성능 GPU가 필요하다는 것을 보여준다”고 덧붙였다.  editor@itworld.co.kr


2017.03.10

페이스북과 MS, “더 빠른 서비스”를 위한 새로운 AI 서버 설계 공개

Agam Shah | IDG News Service
페이스북은 지난 수요일 소셜 네트워크와 관련한 몇 가지 놀랄 만한 통계를 발표했다. 매일 사용자들은 1억 시간의 비디오를 보고, 4억 명이 메신저를 사용하며, 9,500만 개 이상의 사진과 비디오가 인스타그램에 게시된다.

페이스북 데이터센터의 서버는 이러한 막중한 부하를 처리하면서 모든 서비스를 조율해 쾌적한 응답성을 유지한다. 또한 페이스북 서버는 머신러닝 기술을 사용해 서비스를 개선한다. 대표적인 예가 이미지 인식이다.

마이크로소프트 역시 서버 부하를 분산시킬 방법을 지속적으로 모색한다. 예를 들어 마이크로소프트 데이터센터는 코타나(Cortana)와 같은 자연어 서비스에 머신러닝을 적용한다.

두 업체 모두 이런 인공 지능 서비스에서 더 빠른 응답을 보장하기 위해 새로운 오픈소스 하드웨어 설계를 도입했으며, 이 설계를 통해 각자의 네트워크와 소프트웨어를 통해 더 많은 서비스를 제공할 수 있게 된다. 이 서버 설계는 수요일 오픈 컴퓨트 프로젝트 U.S. 서밋(Open Compute Project U.S. Summit)에서 공개됐다.

다른 기업들도 이fjs 서버 설계를 기준으로 사용해서 내부적으로 자체 서버를 설계한 다음 아시아로 보내 대량 생산을 할 수 있다. 페이스북과 구글이 몇 년 전부터 사용 중인 방식이다. 금융기관들도 자체 서버에 OCP 설계를 실험하고 있다.

페이스북의 빅 베이슨(Big Basin)은 독특한 서버 박스다. “JBOG(Just a Bunch Of GPU)”로 불리는 이 서버는 머신러닝을 위한 전례 없이 강력한 성능을 제공할 수 있다. CPU가 없으며 별도의 서버와 스토리지 박스에 연결해야 하는 독립된 박스로 가동된다.



빅 베이슨은 데이터센터에서 프로세싱, 스토리지, 네트워킹 유닛을 분리한다는 개념을 실천한 시스템이다. 독립적인 풀을 사용할 경우 스토리지와 프로세싱의 확장 속도가 훨씬 더 빨라지지만 지금과 같은 하나의 서버 박스에 집어넣을 경우 제한이 따른다. 프로세싱과 스토리지가 서로 근접하게 네트워크로 연결되면 연산도 훨씬 더 빨라진다. 분리된 각 유닛은 전원 및 냉각 리소스를 공유하므로 데이터센터의 전기 요금도 절약된다.

빅 베이슨 시스템은 새로운 페이스북 오픈소스 듀얼 CPU 서버 설계인 티오가 패스(Tioga Pass)에 연결할 수 있다.

분리된 데이터센터 설계는 페이스북, 구글과 같이 프로세싱 수요 증가에 대처하기 위해 수천 대씩 서버를 구매하는 기업에게 중요하다. 이런 기업은 스토리지, 프로세싱 및 기타 리소스를 분리함으로써 훨씬 더 빠르게 웹 서비스와 머신러닝 작업을 확장할 수 있다.

인텔의 랙 스케일(Rack Scale) 아키텍처 역시 비슷한 설계를 추구하며, 델, HPE와 같은 기업들은 이러한 서버 구현을 위한 청사진을 제시한다.

페이스북의 빅 베이슨 시스템에는 엔비디아 테슬라 P100 GPU 가속기 8개가 초고속 NV링크(NVLink) 상호접속을 통해 메시 아키텍처로 연결된다. 이 메시 상호접속은 일본 후지쯔의 AI 수퍼컴퓨터에 사용되는 엔비디아의 DGX-1 서버와 비슷하다.

다른 새로운 AI 서버 설계는 프로젝트 올림푸스를 발표한 마이크로소프트의 안으로, AI 코프로세서를 위한 공간이 더 많다. 마이크로소프트는 엔비디아 및 인그라시스(Ingrasys)와 함께 HGX-1이라는 GPU 가속기도 발표했다. HGX-1은 페이스북의 빅 서(Big Sur)와 비슷하지만 확장을 통해 32개의 GPU를 연결할 수 있다.

프로젝트 올림푸스는 서버 설비에 대한 큰 변화는 필요 없는, 전통적인 서버 설계에 더 가깝다. CPU, GPU, 메모리, 스토리지, 네트워킹이 하나의 박스에 들어간 1U 랙 서버다.

마이크로소프트의 새로운 서버 설계에는 인텔 스카이레이크와 AMD 나폴리를 포함한 최신 서버 칩을 지원하는 범용 메인보드 슬롯이 있다. 프로젝트 올림푸스는 x86에서 ARM으로의 크로스오버와 퀄컴 센트릭(Centriq) 2400 또는 캐비움(Cavium) 썬더 X2(Thuner X2) 칩 지원이라는, 서버에서는 좀처럼 보기 드문 구성을 추진한다.

퀄컴은 OCP 서밋에서 프로젝트 올림푸스 설계를 기반으로 하는 메인보드와 서버를 선보일 예정이다. 퀄컴 서버는 윈도우 서버를 실행하는데, 이렇게 되면 ARM 칩에서 윈도우 서버가 실행되는 최초의 사례가 된다.

범용 x86 및 ARM 메인보드 지원을 통해 고객은 새로운 하드웨어를 구매하지 않고도 칩 아키텍처를 전환할 수 있게 된다. 마이크로소프트 애저 하드웨어 인프라 부문 총괄 관리자인 쿠샤그라 바이드는 블로그에서 프로젝트 올림푸스에 ARM 지원을 구현한 것은 새로운 서버 설계의 큰 성과 중 하나라고 말했다.

인텔의 FPGA는 서버의 검색과 딥 러닝 애플리케이션 속도를 높여준다. 마이크로소프트는 빙 검색 속도를 높이기 위해 FPGA를 사용한다. 이 서버는 GPU와 같은 PCI-e 카드를 위한 최대 3개의 슬롯과 최대 8개의 NVMe SSD, 이더넷, DDR4 메모리로 구성된다. 또한 여러 개의 팬과 방열판, 정전 시 서버 실행을 위한 다수의 배터리도 탑재한다.

프로젝트 올림푸스 HGX-1은 NV링크 상호접속 기술을 통해 8개의 엔비디아 파스칼 GPU를 지원한다. HGX-1 AI 가속기 4개를 상호 연결해서 32개 GPU로 구성된 초대형 머신러닝 클러스터를 만들 수 있다.

엔비디아 가속 컴퓨팅 부문 부사장 겸 총괄 관리자인 이안 벅은 현재 데이터센터가 AI 컴퓨팅의 빠른 도입을 지원하기 위한 대대적인 변화의 과정에 있다고 말했다. 또 “마이크로소프트와 페이스북의 새로운 OCP 설계는 하이퍼스케일 데이터센터에서 막대한 AI 컴퓨팅 수요를 지원하기 위해서는 고성능 GPU가 필요하다는 것을 보여준다”고 덧붙였다.  editor@itworld.co.kr


X