데이터ㆍ분석 / 애플리케이션

빅 데이터를 위한 하둡, 그 이상의 방법은 없는가

Jaikumar Vijayan | Computerworld 2012.11.01
구글은 "드레멜 기술은 조 단위줄을 넘어가는 데이터 테이블에 걸쳐 쿼리를 순식간에 실행할 수 있고, 수천 개의 CPU와 페타바이트급 데이터로 확장될 수 있으며, SQL-쿼리같은 언어들을 지원해 사용자들이 데이터와 소통하기 쉽고, 즉각적인 쿼리를 생성하기 쉽다"고 설명했다.
 
전통적인 관계형 데이터베이스 관리 기술은 지난 몇년간 상호 쿼리를 지원했지만, 드레멜은 훨씬 더 강력한 확장성과 속도를 제공한다고 주장했다.

구글, 하둡은 데이터 저장/처리에 드레멜은 데이터 분석
구글 운영에 있어 수천 명의 사용자들은 웹 문서 분석, 안드로이드 앱을 위한 설치 데이터 추적, 충돌 보고, 수십만 디스크를 위한 디스크 I/O 통계 유지 등과 같은 다양한 애플리케이션에서 드레멜을 사용한다. 
 
그러나, 구글이 최근 출시한 빅쿼리(BigQuery) 제품 관리자인 쿽 주-케이는 드레멜은 맵리듀스와 하둡의 대체재가 아니라고 말했다. 빅쿼리는 드레멜에 기반한 호스티드 빅데이터 분석 서비스다.
 
쿽은 "구글은 드레멜을 맵리듀스와 결합해 사용한다"고 설명했다. 하둡 맵리듀스는 막대한 양의 서버 로그 데이터를 준비하고, 지우고, 변형하고, 옮기기 위해 사용되고, 이후 데이터 분석에 드레멜이 사용된다.
 
쿽은 하둡과 드레멜은 광범위한 컴퓨팅 기술이지만, 각기 아주 다른 문제들을 해결하기 위해 만들어졌다고 설명했다. 
 
예를 들어, 만약 구글이 자사 지메일 서비스의 문제 해결을 시도한다면, 거대한 볼륨의 로그 데이터를 뒤지고, 문제를 정확히 짚어내야 했을 것이다.
 
쿽은 "지메일은 4억 5,000만 명의 이용자를 보유하고 있다. 만약 모든 이용자가 지메일과 몇백 개의 교차점(intersections)을 가진다면, 구글이 로그해야할 전체 이벤트와 교차점을 생각해보라"고 말했다.
 
쿽은 "드레멜을 통해 구글은 시스템으로 진입해 추측에 근거한 쿼리들로 그 로그들의 정보를 얻을 수 있다"고 말했다. 쿽에 의하면, 구글 엔지니어는 10초가 넘어가는 모든 반응시간을 자신에게 보여달라. 지금 지역별로 보여달라고 말할 수 있다. 드레멜은 엔지니어로 하여금 어디에서 지연이 발생하고 있는지 아주 빠르게 정확하게 집어낼 수 있게 해준다고 설명했다.
 
드레멜은 아주 많은 기기들로 데이터를 분산하고, 모든 서버로 쿼리들을 분산하며, 각각에 대해 '해답을 가지고 있냐고 묻는다. 그리고 드레멜은 말 그대로 그 모든 결과를 모아 몇 초만에 해답을 제시한다.
 
같은 작업에 하둡과 맵리듀스를 사용하면 작업 쓰기, 실행, 정보가 이용자에게 다시 보내지기 전까지 클러스터에 걸쳐 펼쳐질 때까지 기다리기 등이 요구되기 때문에, 더 오랜 시간이 소요된다. 쿽은 "그렇게 할 수도 있지만, 아주 복잡하다. 그건 마치 컵으로 빵을 자르려는 것과 같다"고 말했다.
 
구글을 드레멜로 몇 년 전 갈아타게 한 것과 같은 종류의 데이터 볼륨들이 일부 기업 조직에서도 나타나기 시작했다고 말했다.
 
자동차, 제약, 유통, 금융서비스 산업 등의 기업들이 데이터를 감당 못할 지경에 이르렀기 때문에, 이 데이터를 빠르게 쿼리하고 분석할 수 있는 툴을 찾고 있는 중이다. 구글의 호스티드 빅쿼리 분석 서비스는 새로운 빅 데이터 기술 요구로부터 혜택을 받을 수 있는 유리한 위치에 서게 됐다. 
 
가트너 애널리스트 리타 살람은 드레멜 기반의 호스티드 서비스가 빅 데이터 분석의 판도를 바꿀 수 있다고 말했다.
 
살람은 "드레멜 기반의 호스티드 서비스는 기업들이 거대 데이터세트를 값비싼 기초 분석 기술의 구입 없이도 상호 쿼리를 할 수 있게 해준다"고 설명했다. 비즈니스는 다른 데이터 유형들과 다른 데이터 볼륨들을 기업 데이터 분석 플랫폼을 구입하는 비용의 극히 일부만 쓰고도 탐구하고 실험해볼 수도 있다.
 
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.