AIㆍML / 데이터센터

'슈퍼컴퓨터 대신 고성능 컴퓨팅', 정말 필요한 분야와 기업은 과연 어디?

John Edwards  | Network World 2019.10.08


총 교수 역시 노스 캐롤라이나 대학의 경우와 마찬가지로, HPC 클라우드 서비스의 기능과 유연성을 높이 평가한다. “HPC는 다양한 요구사항에 대처할 수 있어야 한다. 많은 프로세서가 필요한 경우도 있고, 하이메모리 머신이 필요한 경우도 있다. 생물학 연구에 사용하는 일부 애플리케이션은 매우 빠른 속도로 I/O 바운드되기 때문에 초고속 디스크 액세스도 매우 유용하다”고 평가했다. 

대학에서 사용하는 클라우드 HPC는 또한 진화하는 요구에 적응할 수 있다. 총 교수는 “대학에서도 많은 연구자가 머신러닝 기술을 사용하기 시작했으며 다양한 아키텍처를 활용하고 싶어한다. ‘대학’에는 광범위한 분야의 사용자가 있기 때문에 다양한 패키지가 필요하다”고 덧붙였다. 요크대에서도 대부분의 클라우드 HPC와 마찬가지로, 다양한 분야의 연구원들이 수집, 배포, 구성 문제에 시간을 낭비하지 않고 소프트웨어 간에 쉽고 빠르게 이동할 수 있다. 

슈퍼 컴퓨터를 갖춘 HPC

클라우드 HPC 서비스에 여러 장점이 있기는 하지만, 보안 및 개인정보 보호를 염려하는 기업에게는 항상 최선이거나 가장 합리적인 선택이 아닐 수도 있다. 튜렉은 “데이터가 어디에 저장되어 있는지는 매우 민감한 사항이다. 특히 유럽의 개인정보 보호법(GDPR)이 매우 엄격하다”고 지적했다.

개인정보 보호 및 대규모 컴퓨팅 성능에 대한 요구를 해결하기 위해, 미국 마이애미 대학교는 최근 새로운 온프레미스 슈퍼컴퓨터 기반 HPC 시스템에 투자하기로 결정했다. 이 결정에 있어 가장 중요한 점은, 대규모 다차원 데이터세트로 연구하는 프로젝트가 특별히 맞춤 설계된 고성능 슈퍼컴퓨터에서 훨씬 빠르게 수행될 수 있다는 것이다. 

지난 8월, 학교는 파워시스템 AC922 서버를 기반으로 한 새로운 IBM 트리톤 슈퍼컴퓨터를 공개했다. 마이애미 대학의 전산 과학센터 소장이자 데이터 및 연구 컴퓨팅 담당 부학장인 니콜라스 시노머스는 2,000명 이상의 학생과 교수가 이미 이 시스템을 사용하여 기후예측, 유전체학, 생물정보학, 컴퓨터 비전 및 AI 작업과 같은 프로젝트를 수행하고 있다고 밝혔다.

구축은 성공적이었지만 규모, 분야, 컴퓨팅 수요에 상관없이 HPC 도입 시 초기에 흔히 발생하는 문제에 봉착했다. 시노머스는 “마이그레이션은 항상 문제가 발생한다. 사용자 교육 및 재교육도 해야 했고, 레거시 스토리지 시스템과 새로운 시스템의 통합은 또 다른 도전이었다”고 초기의 어려움을 전했다. 

HPC 시스템이 온프레미스 기반이든 클라우드 기반이든, 많은 계획과 준비를 통해서만 초기 도입 시의 고통을 줄일 수 있다. 시노머스는 “조직 내에 전문가가 필요하며, 계획도 반드시 세워야 한다. 작업량의 특성과 요건을 이해하는 것도 매우 중요하다. 즉 사용자는 해결하려는 문제가 무엇인지, 그리고 HPC가 어떻게 해결하기를 기대하는지에 대한 이해를 선행해야 한다”고 조언했다. 
 

HPC 워크로드 시작하기

조직이 HPC 환경을 사용하고 최적화할 수 있도록 올바른 관리 도구를 선택해야 한다는 점도 중요하다. 시뮬레이션 소프트웨어와 HPC 관련 도구 및 서비스 회사인 알테어의 수석 제품관리 책임자인 예레미야 부르동클은 “전통적인 HPC 하드웨어 환경을 구매하든, 클라우드 HPC를 활용하든, 두 가지를 모두 활용하든, 작업 유형과 양의 요건에 적합한 HPC 워크로드 관리자를 선택하는 것이 무엇보다 중요하다. 워크로드 매니저는 작업 스케줄링, 관리, 모니터링 및 보고 기능을 자동화 할 수 있다”고 설명했다.

키셀은 지식, 단순화, 옵션 및 주의사항에 중점을 둔 채택 전략을 제안한다. “긴 여행이 될 수 있으므로, 미리 계획을 세워놓되, 코스를 수정할 수 있는 기회도 마련해 둬야 한다. 간단하고 대표적인 테스트 사례를 참고하는 것을 권한다. HPC 시뮬레이션 혹은 분석에서 얻은 지식과 통찰력이 명확해지면, 해결하려는 문제의 수준에 맞게 설계된 소프트웨어의 목록도 간추려진다. 그 목록을 시험하면 된다”고 조언했다. editor@itworld.co.kr 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.