클라우드

"온디맨드 슈퍼컴퓨터" 애저 HPC의 이해

Simon Bisson | InfoWorld 2022.01.14
오래 전, 누군가 온 세계에 필요한 컴퓨터는 단 5대라고 말했다고 한다. 마이크로소프트 애저, 아마존 웹 서비스, 구글 클라우드 플랫폼 등은 모두 대규모 확장이 가능한 컴퓨팅 클러스터로, 각 서버와 각 데이터센터는 또 하나의 구성요소이고, 이들이 모여 거대한, 전 지구급 규모의 컴퓨터가 된다고 말할 수도 있다. 사실 클라우드를 움직이는 기술의 상당수는 원래 일반적인 기성품 하드웨어를 사용해서 슈퍼컴퓨터를 만들고 운용하기 위해 개발된 기술이다. 
 
ⓒ Getty Images Bank


클라우드를 활용해 문제를 해결하는 동안에만 존재하는 HPC(High Performance Computing) 시스템을 만들고 구축하고 실행하면 좋지 않을까? 웨타 데지털(Weta Digital)의 영화 제작자들이 렌더 팜(render farm: 킹콩, 호빗과 같은 영화의 CGI 효과를 위해 구축된 하드웨어 서버 룸)에 대해 생각하는 것과 거의 똑 같은 방식으로 클라우드를 생각하면 된다. 렌더 팜은 영화 제작에 사용되지 않을 때는 뉴질랜드 정부를 위한 임시 슈퍼컴퓨터로 활용된다. 

퍼블릭 클라우드의 첫 대규모 사례 연구는 이 부분, 즉 과거라면 온프레미스 HPC 하드웨어를 사용했을 일시적인 폭발적 용량을 위해 퍼블릭 클라우드를 사용하는 데 초점을 맞췄다. 이를 통해 데이터센터 공간, 스토리지, 전력에 대한 투자 없이 HPC를 이용해 상당한 비용을 절감할 수 있다는 것을 확인했다.
 

애저 HPC 소개 

HPC 기능은 애저를 비롯한 클라우드에서 여전히 중요한 기능이다. 클라우드는 더 이상 일반 하드웨어에 의존하지 않고 이제 HPC에 초점을 둔 컴퓨팅 인스턴스를 제공하고 HPC 솔루션 업체와 협력해 전문 툴을 서비스로 제공한다. 특히 HPC를 요구사항에 따라 확장 가능한, 빠르고 쉽게 실행할 수 있는 동적 서비스로 취급한다. 

애저의 HPC 툴은 마이크로소프트가 말하는 “빅 컴퓨팅”을 제공하는 데 초점을 둔 아키텍처 원칙 모음이라고 생각하는 것이 가장 정확할 것이다. 애저의 방대한 규모를 활용해 대규모 연산 작업을 수행할 수 있다. 이 중에서는 빅 데이터 작업도 있고, 예를 들어 제한된 수의 입력을 사용해 시뮬레이션을 수행하는 컴퓨팅에 더 초점을 둔 작업도 있을 것이다. 컴퓨터 유체 역학을 사용하는 시간 기반 시뮬레이션 생성, 또는 반복적인 몬테카를로 통계 분석, 또는 CGI 영화를 위한 렌더 팜 구축 및 운영 등을 예로 들 수 있다.

애저의 HPC 기능은 슈퍼컴퓨터는 필요 없지만 엔지니어링 워크스테이션보다 더 높은 수준의 컴퓨팅이 필요하거나 소규모 서버 클러스터가 제공할 수 있는 수준의 컴퓨팅이 필요한, 더 넓은 범위의 사용자에게 HPC를 제공하도록 고안됐다. 턴키 HPC 시스템이 제공되는 것은 아니므로 HPC에 초점을 둔 가상머신과 적절한 스토리지 플랫폼, 그리고 애저의 고처리량 RDMA 네트워킹 기능을 사용한 상호연결을 통해 직접 윈도우 또는 리눅스 클러스터 인프라를 구축해야 한다. 
 

클라우드에 HPC 아키텍처 구축하기 

ARM이나 바이셉(Bicep)과 같은 기술은 HPC 환경을 구축하고 유지하기 위한 핵심 요소다. 유지관리 책임의 대부분이 고객에게 있으므로 애저의 플랫폼 서비스라고 하기는 어렵다. 코드형 인프라를 기반으로 사용하면 필요에 따라 구축하고 해체할 수 있는 시스템으로 HPC 인프라를 더 쉽게 다룰 수 있다. 이 인프라는 HPC 서비스를 구축할 때마다 완전히 동일하게 구성된다. 

마이크로소프트는 HPC 네트워크를 위한 다양한 VM 유형을 제공한다. 대부분 애플리케이션은 시뮬레이션과 모델링에 초점을 둔 연산 요구량이 많은 워크로드에 맞는 CPU 집약적인 연산에 최적화된 H 시리즈 VM을 사용한다. HBv3 시리즈는 최대 120개의 AMD 코어와 448GB의 RAM을 제공한다. 단일 서버 비용은 윈도우는 시간당 9.12달러, 우분투는 시간당 3.60달러다. 엔비디아 인피니밴드(InfiniBand) 네트워크는 확장을 위한 저지연 클러스터를 구축하는 데 유용하다. 

더 낮은 비용으로 오래된 하드웨어를 제공하는 옵션도 있으며, 규모가 상대적으로 작은 HC 및 H-시리즈 VM은 AMD 대신 인텔 프로세서를 사용한다. 클러스터에 GPU 컴퓨팅을 추가해야 하는 경우, 인피니밴드 연결을 제공하는 몇몇 N 시리즈 VM을 사용하면 하이브리드 CPU/GPU 클러스터 구축에 도움이 될 것이다. 

모든 H 시리즈 VM이 모든 애저 리전에서 제공되는 것은 아니다. 따라서 프로젝트에 맞는 하드웨어를 찾으려면 자신의 위치와는 다른 리전을 선택해야 할 수도 있다. 대규모 프로젝트라면, 특히 스토리지와 네트워크를 추가하는 경우 월 수천 달러의 예산을 예상해야 한다. VM과 스토리지 외에 데이터와 그 결과를 전송하기 위해 애저에 대한 고대역폭 링크가 필요할 가능성도 높다. 

VM을 선택한 다음은 OS, 스케줄러, 워크로드 관리자를 선택해야 한다. 애저 마켓플레이스의 다양한 옵션 중에서 선택할 수도 있고, 익숙한 오픈소스 솔루션을 배포해도 된다. 이 접근 방법은 기존 HPC 워크로드를 애저로 가져오거나 기존 스킬셋 및 툴체인을 기반으로 구축하는 과정을 비교적 간편하게 해준다. FPGA 지원과 같은 최신 애저 서비스도 사용할 수 있다. 

또한 필요에 따라 가동할 수 있는 매니지드 슈퍼컴퓨터를 제공하는 크레이(Cray)와의 파트너십도 있으며, 애저 마켓플레이스에서 잘 알려진 HPC 애플리케이션도 구할 수 있으므로 이를 활용하면 설치가 간편해진다. 단, 라이선스가 필요할 수도 있으므로 미리 준비해야 한다. 
 

애저 사이클클라우드로 HPC 관리하기 

전체 아키텍처를 처음부터 새로 구축할 필요는 없다. 애저 사이클클라우드(CycleCloud)는 스토리지와 스케줄러를 관리하는 데 도움이 되는 서비스로, HPC 툴을 관리하기 위한 환경을 제공한다. 사이클클라우드는 ARM과 같은 툴과 비교할 수 있다. VM보다 더 높은 수준에 초점을 두는 인프라 템플릿을 구축하는 수단이며, 인프라를 컴퓨팅 노드 집합으로 취급하고 원하는 스케줄러를 사용하여 필요에 따라 VM을 배포하고 자동화된 확장을 제공한다. 

모든 요소를 하나의 창을 통해 관리할 수 있으며, 컴퓨팅 및 스토리지 리소스를 관리하는 데 유용한 자체 포털이 애저의 모니터링 툴과 통합된다. 자체적으로 확장 프로그램을 작성해 자동화를 추가할 수 있는 API도 있다. 사이클클라우드는 애저 포털에 포함되지 않으며, 자체 웹 기반 UI가 있는 VM으로 설치된다. 
 

애저 배치를 사용한 빅 컴퓨팅 

애저 HPC 툴의 대부분은 IaaS이지만, 애저 배치(Azure Batch) 형태의 플랫폼 옵션도 있다. 애저 배치는 병렬 애플리케이션의 각 부분이 다른 모든 부분으로부터 독립적인(데이터 소스는 공유할 수 있지만) 몬테카를로 시뮬레이션과 같은 본질적인 병렬 워크로드에 맞게 설계됐다. 이 모델은 CGI 영화 프레임 렌더링, 또는 DNA 시퀀스 분석과 같은 생명과학 작업에 적합하다. 고객은 배치 API에 맞게 구축된, 작업을 실행하기 위한 소프트웨어를 직접 가져와야 한다. 배치에서는 비용에 민감하지만 시간에 종속되지는 않아서 용량이 있을 때 작업을 실행하는 VM 스팟 인스턴스를 사용할 수 있다. 

애저 배치에서 모든 HPC 작업을 실행할 수는 없겠지만, 실행 가능한 작업에서는 비용을 최소한으로 유지하는 흥미로운 확장 옵션을 이용할 수 있다. 모니터 서비스는 동시에 수천 개의 인스턴스를 실행할 수 있는 배치 작업을 관리하는 데 유용하다. 사전에 데이터를 준비하고 별도의 전처리 및 후처리 애플리케이션을 사용해 입력과 출력 데이터를 처리하는 것이 좋다. 

애저를 DIY 슈퍼컴퓨터로 사용하는 것도 괜찮은 방법이다. H 시리즈 VM은 풍부한 컴퓨팅 기능을 제공하는 강력한 서버다. 익숙한 툴이 지원되므로 온프레미스 워크로드를 애저 HPC로 이전하거나 완전히 새로운 툴을 익힐 필요 없이 새 애플리케이션을 구축할 수 있다. 유일한 관건은 경제성이다. 온디맨드 HPC 의 비용이 자체 데이터센터에서 애저로 전환할 만큼의 이점을 제공하는지가 관건이 될 것이다.
editor@itworld.co.kr
 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.