데이터ㆍ분석 / 서버

크레이, 수퍼컴퓨터에 하둡을 들이다

Joab Jackson | IDG News Service 2013.11.20
고성능 컴퓨터 제조업체인 크레이는 현재 뜨고 있는 빅데이터 기술의 이점을 수퍼컴퓨터에 가져왔다.

크레이는 자사의 수퍼컴퓨터 XC30 사용자들에게 쉽게 하둡을 사용할 수 있도록 최적화한 패키지를 발표했다. 크레이에 따르면, 하둡용 크레이 프레임워크는 XC30에서 빅 데이터 프로젝트인 하둡을 실행하기 위한 구성과 최적화를 위한 툴셋과 베스트 프렉티스를 제공한다.

하둡의 자바 기반 데이터 분석의 맵리듀스 모델은 수퍼컴퓨터에 다수의 이점을 줄 수 있다.
아직 커뮤니티에서는 널리 받아들여지진 않았지만 병렬 프로세싱과 초대규모 데이터 셋 양쪽에 사용할 수 있다.

크레이 CTO 빌 블레이크는 공식 성명에서 "크레이는 자체 사용자들이 하둡에 흥미를 보였다. 그러나 오픈소스 데이터 프로세싱 플랫폼은 대부분의 과학적 수퍼컴퓨팅 사용 사례와는 맞지 않다"고 말했다. 프로세서에서 데이터를 갖고 오는 하둡의 접근 방법과 전통적인 수퍼컴퓨팅의 그것은 다르다.

크레이에 따르면, 하둡용 크레이 프레임워크와 크레이 퍼포먼스 팩은 데이터 접근 방법의 차이에서 오는 문제들을 해소하고 사용자들이 하둡용 XC30의 컴퓨팅 파워를 사용할 수 있을 것이다.

2014년 초 계획 중인 퍼포먼스 팩의 업데이트는 또한 XC30의 사용자들이 크레이 기기에서 사용된 러스터(Lustre) 파일 시스템 라이브러리를 사용하고 에이레네 시스템과의 상호 연결 등에 최적화하기 위한 추가적인 시스템 코드를 포함하고 있다.

클레이 최고의 수퍼컴퓨터인 XC30은 서버, 스위치 통합과 러스터 병렬 파일 시스템, 에이레네 고속 상호 연결, 혁신적인 냉각 시스템, 그리고 지역적 제약을 최소화하는 드래곤플라이 네트워크 토폴로지 등의 기능을 갖고 있다.

크레이는 이번주 미국 덴버에서 개최된 SC2013 수퍼컴퓨터 컨퍼런스에서 이 패키지를 발표했다.

또한 클레이는 호넷이라는 불리는 스투르가르트 대학의 XC30을 업그레이드하고 있으며 이를 7페타프롭스 보다 더 높은 성능을 제공할 것이라고 발표했다. ediotor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.