데이터ㆍ분석 / 애플리케이션 / 클라우드

글로벌 칼럼 | "하둡 축제를 준비하자"

Michael Friedenberg | CIO 2012.01.27
오늘날 비즈니스 테크놀로지 세계에서 빅 데이터라는 주제를 다루지 않고서는 말하지 못한다. 
 
간단히 말하면 빅 데이터는 큰 볼륨의, 빠르고 다양한 데이터 세트에 관한 것이며, 전통적인 데이터베이스 툴로는 관리하기가 불가능하다. 
 
2011년 전세계 데이터 출력량은 1.8제타바이트(1제타바이트는 10억테라바이트)였다. 더 충격적인 것은 전세계 데이터의 90%는 불과 2년 전사이에 만들어진 것으로 추정된다는 점이다. 
 
데이터의 폭발적인 증가에는 물론, 비정형 데이터가 있다. 지난해 HP 디스커버 컨퍼런스에서 오토노미 CEO이자 정보관리 부사장인 마이크 린치는 "IT 세계는 정형화, 컴퓨터 친화적인 정보- 잘 관리되어진 원 데이터와 칼럼-에서 단지 문서뿐만 아니라 비디오, 오디오, 이미지를 포함한 이메일과 소셜 미디어와 같이 다양한 소스로부터 나온 비정형, 인간 친화적인 데이터로 이동하고 있다"고 말했다. 
 
아파치 하둡과 관련해 빅 데이터가 떠오른다는 주장이 혹시 소음으로 들릴 지 모른다. 무료 라이선스인 이 소프트웨어 프레임워크는 데이터 집약적인 분산형 애플리케이션들을 지원한다.
 
하둡은 애플리케이션들이 수천 노드와 페타바이트 급(1,000 테라바이트) 데이터를 실행할 수 있게 한다. 이는 확실히 비정형 데이터 체계화를 위한 성배처럼 보여 모든 이들이 하둡에 편승하는 것에 의문을 갖지 않는다.  
 
웹으로 빠르게 검색해보면 불과 몇 달만에 EMC, 마이크로소프트, IBM, 오라클, 인포메티카, HP, 델, 클라우데라 등등의 업체들은 모두 이 소프트웨어 프레임워크를 채택했다는 것을 알게 될 것이다. 
 
필자는 비즈니스 규모와 스토리지 비용 절감 양쪽 측면에서 하둡을 사용한 야후, 아마존, 컴스코어, AOL과 같은 업체에 왜 주목해야 하는지 알게 됐다. 
 
인피네타 시스템의 최근 보고서에 따르면, 전통적인 데이터 스토리지를 운영하는데 기가바이트 당 5달러가 들지만, 하둡을 사용하면 25센트밖에 들지 않는다. 
 
어떤 CEO라도 이 숫자는 기억할 것이다. 그래서 2012년에는 하둡 축제(Hadoopalooza)을 준비하자.  
 
*Michael Friedenberg는 CIO 매거진의 모기업인 IDG 엔터프라이즈의 CEO이다.  editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.