클라우드

클라우드 수퍼 컴퓨팅, “초강력 해결사의 등장”

Todd R. Weiss | Computerworld 2010.07.19

우드워드 거버너(Woodward Governor Co.)는 과거의 방식으로 제트기 엔진용 연료 노즐과 부품을 만들어 오고 있다. 이는 섬세하게 설계한 다음, 원료를 가공하여 물리적인 프로토타입을 만든 뒤에, 테스트를 거쳐서 최종적으로 생산용 부품을 만드는 방식이다.

 

우드워드에서 이런 방식으로 사용 가능한 신형 노즐 설계안을 만드는데 몇 주가 걸리곤 했다. 하지만 이제는 이 시간이 물리적 프로토타입을 만들기 위해 필요했던 단계를 줄임으로써 몇 시간으로 줄어들었다.

 

과거의 방식 대신에, 우드워드는 곧바로 생산에 투입할 수 있는 디자인을 신속하게 만들어서 평가할 수 있는 복잡한 소프트웨어를 구동하기 위해 강력한 클라우드 기반 수퍼 컴퓨팅을 이용하고 있다. 다시 말해 디자인을 입증하기 위해 몇 가지 모델을 먼저 만들어볼 필요가 없어졌기 때문에 노즐 디자인 설계부터 생산까지 80%나 더 빠르게 진행할 수 있게 되어 매년 5,000만 달러의 비용 절감효과를 가져올 것으로 기대되고 있다.

 

개화기 접어든 온디맨드 수퍼컴퓨팅

우드워드의 온디맨드 방식 수퍼컴퓨터 성능을 구현하는 작업을 함께 한 HPC 전문 컨설턴트 로버트 그레이빌은 “디자인 설계용으로 우드워드는 자체적으로 매우 강력한 워크스테이션을 몇 대 보유하고 있었지만”, 대규모 시뮬레이션을 구동할 수 있을 정도로 강력한 것은 없었다고 설명했다.

 

그레이빌은 더 많은 컴퓨팅 능력을 필요로 하는 기업과 필요에 따라, 사용량만큼 비용을 청구하는 HPC(High Performance Computing) 공급업체들 간의 중개인 역할을 하는 님비스 서비스(Nimbis Services Inc.)의 대표이사 사장이다.

 

가브리엘 컨설팅 그룹의 댄 올즈는 온디맨드 수퍼 컴퓨팅이 개화기에 접어들었다며, 자체적으로 전용 HPC 장비를 구매할 수는 없는 기업들에게 특히 유용하다고 평가했다.

 

올즈는 “아직은 생각조차 하지 못하고 있는 사용자들에게도 새로운 지평을 열어주는 것”이라며, “보유하고 있는 일반적인 장비를 사용해서 스스로도 이런 일을 할 수도 있지만, 글자 그대로 몇 년은 걸릴 것”이라고 지적했다.

 

다른 방법으로는 사용자가 해결하려는 문제를 단순화시켜서, 형편이 되는 시스템 상에서 프로젝트를 구동시킬 수도 있다. 하지만 이 경우는 원하는 결과를 제대로 얻지 못할 가능성이 높다는 것이 문제. 온디맨드 수퍼 컴퓨팅은 예산 범위 내에서 이 두 가지 방안의 문제점을 해결할 수 있다.

 

펀드잇(Pund-IT Inc.)의 책임 연구원인 찰스 킹은 이 서비스 시장이 과거에는 아주 제한적이었지만, “경기 침체와 불안정으로 전용 수퍼 컴퓨팅 클러스터를 구매해서 유지보수하는 것보다 온디맨드 서비스가 훨씬 더 가격이 적절하고 매력적인 것이 됐다”고 강조했다.

 

소프트웨어 호환성 점검이 과제

킹은 가장 큰 과제가 하드웨어보다는 소프트웨어라고 지적했다. HPC 시스템을 사용하는 많은 기업이 자체적으로 애플리케이션을 개발했거나 패키지 애플리케이션은 사용 전에 수정하고 있다. 따라서 온디맨드 수퍼 컴퓨팅 서비스 공급업체가 기존 소프트웨어를 구동하기 위해 고객과 어떻게 작업하는지가 핵심이다.

 

우드워드의 경우에는 그레이빌이 혁신 담당 국장으로 있는 USC(University of Southern California)의 ISI(Information Sciences Institute)를 통해서 파일럿 프로젝트에 참여해 달라는 초청을 받고 온디맨드 수퍼 컴퓨팅을 시작했다. 목표는 제조업체들이 각자의 산업 디자인과 모델링 프로세스를 개선하는데 어떻게 HPC 클라우드 서비스를 사용할 수 있을지를 모색하는 것이었다. 이 작업은 DARPA(Defense Advanced Research Projects Agency)와의 367만 달러짜리 계약 하에서 수행되었다.

 

우드워드는 IBM 클라우드 컴퓨팅 온디맨드(Cloud Computing On Demand) 설비를 통해 HPC 서비스에 액세스하기 시작했다. IBM에 따르면 이 설비는 16GB의 RAM을 장착한 256대의 System x3550 서버와 128대의 x3450 서버로 구성된 클러스터로 19TFLOPS(Trillion Floating Point Operations Per Second: 초 당 1조회의 부동 소수점 연산)의 일관성 있는 성능을 제공한다. 우드워드는 필요하면 추가 컴퓨팅 능력도 사용할 수 있다.

 

우드워드의 파일럿 프로젝트는 지난 2년 간 DARPA가 자금을 댄 4가지 유사 프로젝트 중 하나였는데, 다른 3가지 프로젝트는 에이스 클리어워터 엔터프라이즈(ACE Clearwater Enterprises)의 가상 금속 성형, 알파스타(AlphaStar Corp.)의 섀시 무게 감축, 그리고 알타심 테크놀러지스(AltaSim Technologies)의 전자기 간섭 신호 분석 등이다.

 

"폐기물 감소 효과도 덤으로"

지금까지, 여분의 컴퓨팅 처리능력은 새로운 제트엔진 노즐 디자인을 훨씬 더 효율적으로 만드는데 도움을 주고 있으며, 파일럿 프로젝트의 통계에 따르면 폐기물로 50% 정도 줄이고 있다. 비용은 물리적 모델링 작업을 없애기 위해 수퍼 컴퓨터를 사용함으로써 엔지니어 당 연간 27만 5,000달러가 줄어들어서 1년에 50만 달러 이상을 절감했다는 연구 결과가 나왔다.

 

그레이빌은 수퍼 컴퓨팅이 가용 기술, 도구, 그리고 자원을 확장시키므로 “클라우드 기반 수퍼 컴퓨팅에 대한 액세스는 제품 설계 방식을 확실히 바꿔 놓는다”며, “출하 시기와 품질에 좋은 쪽으로 영향을 준다”고 강조했다.

 

그리고 필요할 때만 HPC 사용시간을 구매할 수 있어서, 우드워드는 추가 에너지 비용을 유발하고 추가 IT 관리자의 유지보수를 필요로 하는 고가의 전용 HPC 클러스터를 설치할 필요가 없다. 그레이빌은 “마치 과거에 메인프레임의 시간 단위로 구매하던 시절로 되돌아간 것 같다”며, “이런 클라우드 컴퓨팅은 추가 컴퓨팅 용량을 필요로 하는 사용자들이 실제로 주도하고 있다”고 덧붙였다.

 

비슷한 종류의 퍼블릭/프라이빗 HPC 프로젝트가 OSC(Ohio Supercomputing Center)를 통해서 진행되고 있다. 이 프로젝트는 오하이오주 소재 기업들이 컴퓨팅 용량은 물론이고 최종 결과를 개선하기 위해 전문가의 자문도 구할 수 있다.

 

OSC 공동 소장인 아쇼크 크리슈나무르티는 “우리는 오하이오의 경제 발전을 도모하는데 도움을 주고 있으며, 크고 작은 기업들이 수퍼 컴퓨팅에 액세스할 수 있도록 하고 있다”고 설명했다. 25개 이상의 기업이 OSC의 블루 컬러 컴퓨팅(Blue Color Computing) 프로그램에 직접적으로 참여했으며, 이 프로그램은 과거라면 사용을 고려해보지 않았을 기업에게 수퍼 컴퓨팅 처리능력을 제공하고 있다. 250개 이상의 중소기업도 EWI(Edison Welding Institute) 같은 관련 기관을 통해 서비스에 액세스해서 이 서비스를 사용했다.

#######

용접업체도 HPC 분석의 혜택

용접을 하는 기업들을 대표하는 기관 회원인 EWI는 OSC와 공조하여 회원사들이 웹 포탈인 이웰드 프리딕터(E-Weld Predictor)에 로그인해 실제 용접 작업을 하기 전에 수퍼컴퓨터를 이용해서 복잡한 용접을 시뮬레이션 해 본다. 크리슈나무르티는 “이 시뮬레이션에서는 다양한 프로토타입을 시험해 볼 수 있어서 용접 절차를 만드는 기간을 6개월에서 2주로 줄일 수 있다”고 강조했다.

 

EWI의 CTO 겸 기술 및 혁신 담당 부사장인 크리스 콘라디는 “새로운 용접 절차를 정착시키는데 필요한 시간을 줄여주므로 이는 엄청난 성공”이라며, “사용자가 용접 작업을 최적화하고 잘못된 용접의 위험성을 줄일 수 있게 해준다”고 덧붙였다.

 

가장 신기한 점은 용접 프로세스가 획일적이지 않다는 것. 콘라디는 “수많은 변수가 있어서 컴퓨터 상에서 모델링 하기가 어려웠다. 열을 어떻게 가하는지에 따라 재료의 특성에 많은 일들이 일어날 수가 있다”고 설명했다.

 

특히 업체들은 중요한 적용분야, 예를 들어 파이프라인이나 압력 용기에 대해서 용접법을 알기 위해 엄청난 시간과 비용을 소비할 용의가 있다. 하지만 일반적인 워크스테이션에서는 이런 프로세스에 관련된 모든 계산을 처리할 수는 없는 것이 현실이다.

 

이웰드 프리딕터는 사용자가 연결할 소재의 세부 사항, 치수와 다른 필수 세부 사항을 입력하면, 몇 분 뒤에, 시스템은 어떻게 하면 용접을 성공적으로 할 수 있는지에 대한 세부사항이 기록된 PDF 문서를 만들어 낸다. 콘라디는 “기본적으로는 용접에 대한 예측과 절차 그리고 결과가 기록된 보고서이다. 우리는 이것이 점점 더 큰 의미를 가질 것이라고 생각하고 있다”고 강조했다.

 

첫 달에만 약 100여개의 EWI 회원사가 이웰드 프리딕터를 사용한 것으로 알려졌다.

 

이웰드 프리딕터는 OSC의 1,650노드로 구성된 IBM Glenn 1350 수퍼컴퓨터를 활용하고 있다. OSC에 따르면 Glenn 1350은 AMD 옵테론 멀티코어 프로세서와 IBM 셀 프로세서를 탑재했으며, 75 TFLOPS 이상의 최대 성능을 제공한다.

 

OSC가 제공하는 지원은 경쟁업체로 가득 찬 시장에서 소기업에게는 큰 힘이 될 수 있다. 특히, 수퍼 컴퓨팅 시스템을 사용하여 절약한 시간은 계약을 따기 위해 경쟁하고 있는 기업이나 가능하면 빠른 시간 내에 제품을 제조해야 할 필요가 있는 기업에게는 필수적이다. 크리슈나무르티는 “짧은 시장 출하 시간이 커다란 차이를 만들 수 있다”며, “6개월에서 2주로 줄었다는 것은 매우 성공적인 것”이라고 평가했다.

 

OSC는 미국 국방부의 공급망을 통해서 부품과 장비를 납품하고 있는 소기업을 도와주기 위해 DARPA와도 공조하고 있다. 한 예로 보안 상의 이유로 이름을 거론할 수 없지만 미 해군용 전력 제어기기를 설계하는 방산 부품 제조업체를 들 수 있다.

 

이 업체는 부품 시험을 할 수 있는 자원을 가지고 있지 못해서 엄격한 입찰 사양을 맞추지 못해서, 그런 시험에 대해서는 포기 요청을 하곤 했다. 하지만 OSC와 협력 업체 중 한 곳인 알타심 테크놀로지스는 이 방위 산업체에 어떻게 하면 외부의 수퍼 컴퓨팅 처리능력을 이용해서 초대형 전력 제어기기의 성능과 구조를 시뮬레이션할 수 있는지를 보여 줌으로써 도움을 주었다.

 

알타심의 책임자인 제프리 크롬프톤은 OSC의 지원은 이 회사가 프로토타입 전력기기를 개발할 때 최대 100만 달러를 절약했다고 밝혔다. 슈퍼컴퓨터 시뮬레이션 작업은 해당 부품들이 제조에 들어가면 더 많은 절감 잠재력이 있는데, 전통적인 시험, 프로토타입 생산 그리고 제조 작업을 감안하면, 1억 달러 이상의 비용을 절감할 수 있을 것으로 기대된다..

 

아마존에 대한 경의

그레이빌은 아마존이 온디맨드 컴퓨팅 시장을 만들어 준 것에 대해 찬사를 보낸다고 말했다. 2006년, 아마존은 추가 IT 자원을 필요로 하는 기업들에게 클라우드 기반 컴퓨팅 서비스를 제공하기 시작했다. 이 온라인 소매업자는 원래 휴일 최대 쇼핑 기간 이외의 시간에 자사의 내부 IT 인프라를 활용해서 수익을 얻기 위한 방편으로 EC2(Elastic Compute Cloud 2) 온디맨드 컴퓨팅 서비스 사업을 시작했다.

 

그레이빌은 “아마존은 가장 바쁜 시기의 부하를 관리하기 위해 엄청난 인프라를 보유하고 있었으므로, 다른 시기에는 판매할 수 있는 여분의 CPU 사이클이 있었다. 내 생각에는 그것이 이런 변혁을 가져왔다고 생각한다”고 덧붙였다.

 

아마존이 전에는 외부에서 관리되는 IT 자원에 그렇게 쉽게 액세스할 수 없었던 기업들의 필요에 귀를 기울이기는 했지만, 아마존의 서비스가 요구형 HPC와 똑 같다고 할 수는 없다. SGI와 IBM의 HPC 전용 시스템은 프로세서 노드와 메모리 간에 더 낫고 더 빠른 상호접속을 제공한다. 즉, 아마존이나 다른 기업이 제공하는 좀 더 일반적인 컴퓨팅 아키텍처에 비해 극적으로 우월한 성능을 제공할 수 있음을 의미한다.

 

그레이빌은 “꼭 아마존을 특정하는 것이 아니라, 이들 시스템은 서로 다른 필요에 부합하는 서로 다른 시스템이다”고 지적했다. 아마존은 최근 좀 더 세련된 감시 도구와 내부 클라우드를 아마존의 서비스와 연결하는 서비스 같은 기존 데이터센터와의 개선된 통합 기능을 추가했다.

 

고객의 선호와는 관계없이, 온디맨드 HPC는 수퍼 컴퓨팅의 처리 능력을 다른 방식으로는 사용할 엄두를 내지 못하는 사람들, 말하자면 약자들에게 제공하고 있다.

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.