2019.10.08

'슈퍼컴퓨터 대신 고성능 컴퓨팅', 정말 필요한 분야와 기업은 과연 어디?

John Edwards | Network World
현대의 데이터 중심 세계에서 고성능 컴퓨팅(High performance computing, 이하 HPC)은 유전체학, 컴퓨터 화학, 재무 위험 모델링과 지질 탄성파 영상화 등 다양한 분야에서 심층적인 통찰력을 얻으려는 기업이 추구하는 플랫폼으로 부상하고 있다. HPC는 복잡한 수학적 계산을 해야하는 과학자들에 의해 처음 수용되었고, 이제 여러 분야에 걸쳐 광범위한 기업의 주목을 받고 있다.

HPC 데이터 스토리지 시스템 공급업체 파나사스(Panasas)의 시스템 엔지니어링 책임자 데일 브랜틀리는 “데이터 수집, 분석 및 배포를 주로 하고, 엄청난 계산 능력으로 능률적인 워크플로우를 지원하기 위한 안정적인 시스템이 필요한 환경이라면 HPC가 필요하다”고 말한다.

중소 기업에서는 채택률이 상대적으로 낮지만, 기술과 직원의 전문성에 기꺼이 투자하려는 조직에는 HPC의 잠재력이 크다.

일반적으로 HPC의 사례는 특정 유형의 시뮬레이션에 집중돼 있다. 구글 클라우드의 HPC 및 양자 컴퓨팅 기술 책임자인 케빈 키셀은 “날개에 가해지는 기류 시뮬레이션, 엔진 연소, 행성 기상 시스템, 핵 반응 또는 투자 포트폴리오 평가와 같은 분야가 있다. 다른 사례로는 광고 ROI 측정, 사업부 성과 평가와 같은 분석도 있고, 번역이나 영화필름 및 비디오 렌더링과 같은 변환으로 분류되는 사용 사례도 있다”고 설명했다. 
 

슈퍼 컴퓨터가 필요 없는 고성능 컴퓨팅

흔히 많은 기업과 IT 경영자가 모든 HPC 시스템이 슈퍼 컴퓨터 기반이라고 오해하기 쉽다. 아토스, IBM, HPE/크레이, 후지쯔 등이 생산한 슈퍼컴퓨터는 수많은 특수 HPE 시스템의 핵심이지만, 더욱 널리 쓰이는 접근법은 여러 대의 소형 컴퓨터를 상호 연결된 클러스터에 통합하여 HPE 기능을 제공하는 것이다. 이 방식에서 클러스터 내의 각 컴퓨터는 노드 역할을 한다. 각 노드에는 일반적으로 계산 작업을 하는 컴퓨트 코어라고 하는 멀티 프로세서가 탑재돼 있다. 각 노드 내의 프로세서, 그래픽 처리 장치(GPU), 메모리 리소스는 서로 연결되어 HPC 시스템을 구성한다.

슈퍼 컴퓨터와 맞춤형 소프트웨어를 구입하고 운영할 때 드는 비용은 수십 억원에 달하기 때문에 이 기술의 비용을 감당할 수 있는 기업은 매우 적다. 클러스터 유형의 HPC는 상용 소프트웨어를 실행하는, 비교적 저렴한 상호 연결된 컴퓨터를 사용하기 때문에 배치 및 운영 비용 부담이 더욱 적다. 그럼에도 불구하고 최소한의 규모인 클러스터 기반의 HPC조차도 HPC의 쓰임이 제한적인 기업에는 상당한 투자가 될 수 있다.

그러나 상황이 변하고 있다. 부족한 IT 예산을 쪼개지 않고도 HPC를 이용할 수 있는 방법을 찾는 기업은 이제 구글 클라우드, 마이크로소프트 애저, 아마존웹서비스(AWS), IBM 클라우드 같은 퍼블릭 클라우드 서비스로 이동할 수 있다.

디지털 서비스 및 소프트웨어 엔지니어링 회사인 씨클럼(Ciklum)의 .NET 기술 책임자인 막심 파블로프는 “이런 서비스를 통해 기업은 HPC 클러스터의 하드웨어 인프라에 많은 투자를 하지 않고도 HPC 기능을 이용하여 비즈니스 요구를 충족할 수 있다”고 말했으며, IBM의 엑사스케일 컴퓨팅 담당 부사장인 데이비드 튜렉은 “클라우드의 부상은 소기업과 대기업 간의 경쟁을 어느 정도 수준까지 평등하게 만들었다”고 했다. 
 

HPC 클러스터에서 클라우드 HPC로의 이동

노스 캐롤라이나 대학교(UNC-Chapel Hill)는 다양한 과학, 공학 및 의학 분야의 연구활동을 지원하기 위해 온프레미스 HPC 클러스터에 의존해왔다. 그러나 연구 컴퓨팅의 수요가 증가함에 따라 사용자의 요구도 현재 시스템의 컴퓨팅 리소스 및 용량을 넘어서기 시작했다. 대학은 기존 HPC 투자를 확대하지 않고 클라우드로 전환하여 사용자에게 온디맨드 HPC 환경을 제공하기로 결정했다. 

이 접근 방식은 비용 효율적이고 유연성이 뛰어나다. 노스 캐롤라이나 대학교의 (임시) CIO인 마이클 바커는 “클라우드를 사용하면, 요청된 작업을 위한 컴퓨팅을 프로비저닝하고 필요한 기간 동안만 정확히 컴퓨팅할 수 있다. 이는 계산 작업을 실행하기 위한 요건을 지원하는 매우 효과적인 방법”이라고 설명한다. 

노스 캐롤라이나 대학교의 선임 연구원인 제프 로치는 “클라우드로의 전환이 필요하고 이를 환영한다. 현 시스템은 매우 전통적인 온프레미스 클러스터다. 점점 많은 사용자가 첨단 컴퓨팅과 빠른 성능을 요구하고 있고, 현 시스템으로는 보조를 맞추지 못하고 있다. 기존 온프레미스 클러스터는 원래 설계 목적에 맞는 사용자들에게는 효과적이긴 하지만, 일부에게만 필요했던 예외 사례가 점차 보편화 되고 있다”고 말했다. 

컴퓨팅 수요가 빠르게 증가하면서 미국 노스 캐롤라이나 대학은 구글 클라우드, 그리고 시뮬레이션 및 분석 소프트웨어 회사인 테킬라 테크놀로지(Techila Technologies)와 함께 클라우드 HPC로의 여정을 계획하기 시작했다. 계획 이후의 첫 번째 단계는 개념 증명 평가였다. 로치는 “캠퍼스에서 엄청난 양의 하이메모리(high memory)와 인터랙티브 컴퓨팅을 수행하는 한 연구원을 선발해서, 그의 작업량을 테스트해 보았다. 결과는 매우 성공적이었다. 기존 온프레미스 클러스터 HPC에서는 일주일까지 걸리던 작업이 단 몇 시간 만에 상당 부분 진행되었다”고 설명했다.

영국의 요크 대학도 클라우드 기반 HPC 접근방식을 채택했다. 로열 소사이어티 인더스트리 회원이자 요크 대학교 생물학과의 제임스 총 교수는 생물학, 물리, 화학 및 컴퓨터 과학뿐 아니라 언어학 및 다른 분야를 포괄하는 광범위한 분야에서 교수진과 학생 모두 HPC를 사용한다고 밝혔다. 

총의 생물학부는 현재 구글 클라우드를 사용하여 DNA 서열 데이터를 분석하고 있다. 총 교수는 “특히 오수 침전물과 같은 폐기물을 바이오 가스로 변환하는데 필요한 미생물군유전체, 혼합 미생물 군집에 관심이 있다. 우리는 짧은 DNA 서열을 다시 메타게놈으로 결합한 다음 다른 미생물의 게놈을 분리하여 이들 유기체가 성장 조건의 변화에 어떻게 반응하는지 이해하는 과정에 HPC를 사용하고 있다”고 설명했다. 



2019.10.08

'슈퍼컴퓨터 대신 고성능 컴퓨팅', 정말 필요한 분야와 기업은 과연 어디?

John Edwards | Network World
현대의 데이터 중심 세계에서 고성능 컴퓨팅(High performance computing, 이하 HPC)은 유전체학, 컴퓨터 화학, 재무 위험 모델링과 지질 탄성파 영상화 등 다양한 분야에서 심층적인 통찰력을 얻으려는 기업이 추구하는 플랫폼으로 부상하고 있다. HPC는 복잡한 수학적 계산을 해야하는 과학자들에 의해 처음 수용되었고, 이제 여러 분야에 걸쳐 광범위한 기업의 주목을 받고 있다.

HPC 데이터 스토리지 시스템 공급업체 파나사스(Panasas)의 시스템 엔지니어링 책임자 데일 브랜틀리는 “데이터 수집, 분석 및 배포를 주로 하고, 엄청난 계산 능력으로 능률적인 워크플로우를 지원하기 위한 안정적인 시스템이 필요한 환경이라면 HPC가 필요하다”고 말한다.

중소 기업에서는 채택률이 상대적으로 낮지만, 기술과 직원의 전문성에 기꺼이 투자하려는 조직에는 HPC의 잠재력이 크다.

일반적으로 HPC의 사례는 특정 유형의 시뮬레이션에 집중돼 있다. 구글 클라우드의 HPC 및 양자 컴퓨팅 기술 책임자인 케빈 키셀은 “날개에 가해지는 기류 시뮬레이션, 엔진 연소, 행성 기상 시스템, 핵 반응 또는 투자 포트폴리오 평가와 같은 분야가 있다. 다른 사례로는 광고 ROI 측정, 사업부 성과 평가와 같은 분석도 있고, 번역이나 영화필름 및 비디오 렌더링과 같은 변환으로 분류되는 사용 사례도 있다”고 설명했다. 
 

슈퍼 컴퓨터가 필요 없는 고성능 컴퓨팅

흔히 많은 기업과 IT 경영자가 모든 HPC 시스템이 슈퍼 컴퓨터 기반이라고 오해하기 쉽다. 아토스, IBM, HPE/크레이, 후지쯔 등이 생산한 슈퍼컴퓨터는 수많은 특수 HPE 시스템의 핵심이지만, 더욱 널리 쓰이는 접근법은 여러 대의 소형 컴퓨터를 상호 연결된 클러스터에 통합하여 HPE 기능을 제공하는 것이다. 이 방식에서 클러스터 내의 각 컴퓨터는 노드 역할을 한다. 각 노드에는 일반적으로 계산 작업을 하는 컴퓨트 코어라고 하는 멀티 프로세서가 탑재돼 있다. 각 노드 내의 프로세서, 그래픽 처리 장치(GPU), 메모리 리소스는 서로 연결되어 HPC 시스템을 구성한다.

슈퍼 컴퓨터와 맞춤형 소프트웨어를 구입하고 운영할 때 드는 비용은 수십 억원에 달하기 때문에 이 기술의 비용을 감당할 수 있는 기업은 매우 적다. 클러스터 유형의 HPC는 상용 소프트웨어를 실행하는, 비교적 저렴한 상호 연결된 컴퓨터를 사용하기 때문에 배치 및 운영 비용 부담이 더욱 적다. 그럼에도 불구하고 최소한의 규모인 클러스터 기반의 HPC조차도 HPC의 쓰임이 제한적인 기업에는 상당한 투자가 될 수 있다.

그러나 상황이 변하고 있다. 부족한 IT 예산을 쪼개지 않고도 HPC를 이용할 수 있는 방법을 찾는 기업은 이제 구글 클라우드, 마이크로소프트 애저, 아마존웹서비스(AWS), IBM 클라우드 같은 퍼블릭 클라우드 서비스로 이동할 수 있다.

디지털 서비스 및 소프트웨어 엔지니어링 회사인 씨클럼(Ciklum)의 .NET 기술 책임자인 막심 파블로프는 “이런 서비스를 통해 기업은 HPC 클러스터의 하드웨어 인프라에 많은 투자를 하지 않고도 HPC 기능을 이용하여 비즈니스 요구를 충족할 수 있다”고 말했으며, IBM의 엑사스케일 컴퓨팅 담당 부사장인 데이비드 튜렉은 “클라우드의 부상은 소기업과 대기업 간의 경쟁을 어느 정도 수준까지 평등하게 만들었다”고 했다. 
 

HPC 클러스터에서 클라우드 HPC로의 이동

노스 캐롤라이나 대학교(UNC-Chapel Hill)는 다양한 과학, 공학 및 의학 분야의 연구활동을 지원하기 위해 온프레미스 HPC 클러스터에 의존해왔다. 그러나 연구 컴퓨팅의 수요가 증가함에 따라 사용자의 요구도 현재 시스템의 컴퓨팅 리소스 및 용량을 넘어서기 시작했다. 대학은 기존 HPC 투자를 확대하지 않고 클라우드로 전환하여 사용자에게 온디맨드 HPC 환경을 제공하기로 결정했다. 

이 접근 방식은 비용 효율적이고 유연성이 뛰어나다. 노스 캐롤라이나 대학교의 (임시) CIO인 마이클 바커는 “클라우드를 사용하면, 요청된 작업을 위한 컴퓨팅을 프로비저닝하고 필요한 기간 동안만 정확히 컴퓨팅할 수 있다. 이는 계산 작업을 실행하기 위한 요건을 지원하는 매우 효과적인 방법”이라고 설명한다. 

노스 캐롤라이나 대학교의 선임 연구원인 제프 로치는 “클라우드로의 전환이 필요하고 이를 환영한다. 현 시스템은 매우 전통적인 온프레미스 클러스터다. 점점 많은 사용자가 첨단 컴퓨팅과 빠른 성능을 요구하고 있고, 현 시스템으로는 보조를 맞추지 못하고 있다. 기존 온프레미스 클러스터는 원래 설계 목적에 맞는 사용자들에게는 효과적이긴 하지만, 일부에게만 필요했던 예외 사례가 점차 보편화 되고 있다”고 말했다. 

컴퓨팅 수요가 빠르게 증가하면서 미국 노스 캐롤라이나 대학은 구글 클라우드, 그리고 시뮬레이션 및 분석 소프트웨어 회사인 테킬라 테크놀로지(Techila Technologies)와 함께 클라우드 HPC로의 여정을 계획하기 시작했다. 계획 이후의 첫 번째 단계는 개념 증명 평가였다. 로치는 “캠퍼스에서 엄청난 양의 하이메모리(high memory)와 인터랙티브 컴퓨팅을 수행하는 한 연구원을 선발해서, 그의 작업량을 테스트해 보았다. 결과는 매우 성공적이었다. 기존 온프레미스 클러스터 HPC에서는 일주일까지 걸리던 작업이 단 몇 시간 만에 상당 부분 진행되었다”고 설명했다.

영국의 요크 대학도 클라우드 기반 HPC 접근방식을 채택했다. 로열 소사이어티 인더스트리 회원이자 요크 대학교 생물학과의 제임스 총 교수는 생물학, 물리, 화학 및 컴퓨터 과학뿐 아니라 언어학 및 다른 분야를 포괄하는 광범위한 분야에서 교수진과 학생 모두 HPC를 사용한다고 밝혔다. 

총의 생물학부는 현재 구글 클라우드를 사용하여 DNA 서열 데이터를 분석하고 있다. 총 교수는 “특히 오수 침전물과 같은 폐기물을 바이오 가스로 변환하는데 필요한 미생물군유전체, 혼합 미생물 군집에 관심이 있다. 우리는 짧은 DNA 서열을 다시 메타게놈으로 결합한 다음 다른 미생물의 게놈을 분리하여 이들 유기체가 성장 조건의 변화에 어떻게 반응하는지 이해하는 과정에 HPC를 사용하고 있다”고 설명했다. 



X