데이터ㆍ분석 / 애플리케이션

하둡을 활용해 스토리지의 한계를 극복하는 방법

Frank J. Ohlhorst | CIO 2012.04.20
하둡은 어떻게 발전할까
하둡 패러다임은 데이터를 처리할 때 추가적인 여러 단계를 거치게 된다. 복수의 프로세서가 장착된 서버 수준의 시스템에 연결된 대용량 디스크 드라이브로 구성될 수 있는 전통적인 중앙 집중식 데이터베이스 시스템과 관련된 한계를 예로 들어보자. 이 시나리오에서 분석은 디스크의 성능과 궁극적으로 구매할 수 있는 프로세서의 수에 의해 제한된다.
 
하둡을 배치하면 클러스터의 모든 서버가 클러스터에서 작업과 데이터를 분할할 수 있는 하둡의 기능을 통해 데이터의 처리에 참여할 수 있다. 다시 말해 클러스터 내의 각 서버에 코드를 전송함으로써 색인 작업을 처리한 후 각 서버가 분할된 소규모의 데이터를 처리하게 되는 것이다. 그리고 그 결과가 취합되어 다시 제공된다. 
 
이렇게 하둡을 이용한 과정을 맵리듀스(MapReduce)라고 부른다. 이 과정에서 코드와 프로세스를 모든 서버에 제공하고 결과는 단일한 세트로 축소된다.
 
이 과정 때문에 하둡이 거대한 용량의 데이터를 처리하는데 적합하게 되는 것이다. 하둡은 데이터를 분산시키고 이용 가능한 모든 클러스터 프로세서를 병렬로 작업하도록 함으로써 복잡한 연산을 처리할 수 있다.
 
하둡의 이해와 ETL
하지만 하둡의 세계를 탐험하는 것은 그리 녹록하지 않다. 확실한 성공을 위해서는 전제조건, 하드웨어 요건, 환경 설정 등을 반드시 충족시켜야 한다. 
 
첫 번째 단계는 분석 과정을 이해하고 정의하는 것으로 구성된다.
다행히도 대부분의 IT 책임자는 BA(Business Analytics) 및 BI 과정에 익숙하며 BA/BI 솔루션을 구축할 때 사용되는 대부분의 보편적인 프로세스 단계, ETL(Extract, Transform and Load)를 그 핵심 역할과 결부시킬 수 있다.
 
빅 데이터 분석을 위해서는 기관이 분석할 데이터를 선택하고 통합하며 ETL 프로세스에 적합하도록 집적 방식을 적용해야 한다. 또한 소셜 네트워크, 데이터 로그(Log), 웹 사이트, 모바일 기기, 센서 등 복수의 출처로부터 얻은 구조화되거나 구조화되지 않은 대규모의 데이터가 발생해야 한다.
 
하둡은 고장을 방지하는 클러스터형 아키텍처와 연산력을 데이터에 집중시키고 대규모 데이터 셋의 병렬하는 한편, 배치 처리하는 능력 등의 실용적인 프로세스와 고려 사항을 통합함으로써 이를 달성한다. 또한 데이터 스토리지에서 분석 프로세스까지 기업용 아키텍처 레이어를 지원하는 개방형 생태계를 제공한다.
 
모든 기업이 빅 데이터 분석으로 얻을 수 있는 역량을 필요로 하는 것은 아니다. 하지만 문제를 해결하기 위해서는 하둡의 역량을 반드시 고려해야 한다. 하지만 하둡만으로 모든 것을 달성할 수는 없다. 기업들은 하둡 프로젝트를 위해 어떤 추가적인 하둡 구성요소가 필요한지 고려해야 한다.
 
예를 들어 하둡의 초보적인 구성요소는 데이터 관리를 위한 HDFS와 HBase, 처리 프레임워크로는 맵리듀스와 오지(Oozie), 개발자의 생산성을 위한 개발 프레임워크로서 피그(Pig)와 하이브(Hive), BI를 위한 오픈 소스 펜타호(Pentaho)로 구성할 수 있다.
 
하드웨어 측면에서 시험 프로젝트에는 엄청난 양의 장비가 요구되지 않는다. 하드웨어의 경우 멀티 코어가 탑재된 한 쌍의 서버, 24GB 이상의 RAM, 2TB 용량의 하드디스크 드라이브 십수 개만으로도 시험 프로젝트를 충분히 진행할 수 있다.
 
하지만 하둡의 효과적인 관리와 이행을 위해서는 전문적인 지식과 경험이 필요하다는 사실을 염두에 두고, 전문적인 지식을 확보할 수 없는 경우 IT 관리부서는 하둡 프로젝트를 위한 완벽한 지원을 제공할 수 있는 서비스 제공업체와의 협력을 고려해야 한다. 
 
전문지식은 특히 보안을 위해 중요하다. 하둡, HDFS, HBase 등은 통합된 형태의 보안을 거의 제공하지 않기 때문에 침입 또는 도난에 대비해 데이터를 위한 추가적인 대비책을 반드시 마련해야 한다.
 
모든 것을 고려해 볼 때 빅 데이터 분석 역량을 시험하기 위해서는 내부적인 하둡 프로젝트가 제격이라 할 수 있다. 시험 프로젝트가 끝나면, 빅 데이터 분석의 영역으로 좀더 진출하고 싶어하는 사람들은 상당한 상용 또는 호스트(Host) 처리되는 솔루션을 얻을 수 있다. editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.