개발자 / 데이터ㆍ분석 / 오픈소스

아파치 재단, 빅 데이터 플랫폼 ‘하둡 2’ 공개

Loek Essers | IDG News Service 2013.10.17
아파치 소프트웨어 파운데이션이 16일 오픈소스 데이터 프로세싱 프로그램인 하둡 2(Hadoop 2)의 최신 버전을 공개했다. 다양한 애플리케이션을 동시에 실행해 사용자가 다양한 방법으로 더 빠르게 효과적으로 데이터를 분석할 수 있다고 아파치 측은 설명했다.

아파치 하둡은 클러스터 컴퓨팅 환경에서 간단한 프로그래밍 모델로 대용량 데이터에 대한 분산처리를 할 수 있는 프레임워크다. 기업들은 이를 이용해 매일 생성, 수집되는 데이터들을 효과적이고 저렴하게 저장, 처리, 관리, 분석할 수 있다. 아마존, AOL, 애플, 이베이, 페이스북, 넷플릭스, HP 등의 글로벌 기업들이 현재 하둡을 사용하고 있다.



16일 공개된 최신버전은 지난 4년간 개발됐으며 다양한 신기능이 추가됐다. 가장 눈에 띄는 것은 맵리듀스의 후속 버전인 YARN(Yet Another Resource Negotiator)이다. 이번 버전에서는 주요 기능을 두개의 데몬으로 분리했는데 하나가 리소스 관리이고 다른 하나는 업무 스케줄링과 모니터링이다.

YARN은 HDFS(Hadoop Distributed File System)의 최상단에서 빅 데이터용 애플리케이션들을 실행하는 대용량, 분산 운영체제 역할을 한다. 하둡 2와 YARN를 이용하면 하둡 생태계의 안정적인 기반 내에서 배치 작업과 쌍방향 실시간 워크로드를 조합할 수 있다.

아파치는 YARN을 ‘맵리듀스 버전 2’로 명명했다. 이전 버전의 API와 호환되고 맵리듀스로 작성된 애플리케이션은 다시 컴파일해 YARN에서 실행할 수 있다. 아파치 측은 “수십개의 아파치 프로젝트가 하둡에 통합됐다”며 "10개 이상의 프로젝트가 추가로 통합될 것"이라고 밝혔다.

하둡 2의 GA 버전은 지난 7월 나온 프리뷰 버전의 후속이다. 프리뷰 버전에도 YARN이 포함돼 있었다. 아파치 하둡 2는 아파치 라이선스 v2.0에 따라 배포될 예정이다. editor@idg.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.