BI|분석 / 가상화ㆍ컨테이너 / 데이터ㆍ분석 / 스토리지 / 클라우드

클라우드에 빅데이터 호스팅하기

Eric Knorr | InfoWorld 2015.05.13
빅데이터 분석은 언뜻 보기에는 퍼블릭 클라우드에 아주 적합한 워크로드로 보인다.
특히 배치 작업에 확장성이 아주 큰 클라우드 인프라가 이상적이다. 데이터를 처리하는 동안 필요한 서버 클러스터 사용료를 내고, 그렇지 않을 경우 사용료를 내지 않아도 되기 때문이다.

EC2와 S3 이후 AWS가 추가시킨 첫 번째 서비스 가운데 하나는 하둡 기반의 일래스틱 맵리듀스(Elastic MapReduce) 서비스이고, 몇년 뒤 레드시프트(Redshift) 데이터웨어하우징이 그 뒤를 따랐다.

그러나 문제점이 하나 있다. 빅데이터는 이전이 쉽지 않다는 것이다. 이를 위한 대역폭 비용이 상당하다. 또 분석이 실시간에 가까워지면서, 클라우드 데이터와 온프레미스(내부) 데이터 동기화에 방해를 주는 방벽이 높아지고 있다.

복제 데이터 관리와 가상화 기술이 부상한 이유가 여기에 있다. 퍼블릭 클라우드를 백업과 DR에 이용하는 방법을 모색하는 기업이 증가하고 있는 추세다.

그렇다면 긴급한 상황에 내부에서 복구하기 위한 목적에서 데이터를 클라우드에 모셔두기만 하는 대신 빅데이터 분석이나 개발, 클라우드 기반 테스트에 가상 복제 데이터를 이용하면 안될까?

대부분의 경우, 클라우드 백업과 DR은 소규모 사업체에 초점이 맞춰진 '가치 제안'이었다. 높은 가용성을 유지하고 싶은 대기업은 전용 백업 데이터센터를 구축하고, 많은 비용을 투자해 자주 데이터를 이중화했다. 그리고 둘 모두 사고 시 데이터 복구 목적에만 데이터를 이용했었다.

아직까지는 규모가 작은 액티피오(Actifio)는 DR, 백업, 분석, 클라우드 환경의 개발과 테스트를 위해 지속적으로 업데이트한 단일 엔터프라이즈 데이터 복제를 이용하고, 가상 복제를 생성하자는 아이디어 홍보에 박차를 가하고 있는 대표적인 업체다.

2009년 설립된 액티피오는 타이거 글로벌 매니지먼트(Tiger Global Management) 주도 아래 2014년 3월 1억 달러의 투자를 유치했다. 데이터 '골든 카피'를 가상화, 다양한 방법으로 활용하는 플랫폼을 공급하기 위해 IBM, 선가드(SunGuard) 등과 제휴하고 있다.

가상 데이터 관리는 기업이 직면한 주요 문제 가운데 하나를 해결하게끔 도움을 준다. 기업 데이터의 양이 놀랍도록 빠른 속도로 증가하고 있을뿐더러, 데이터웨어하우징, 하둡 분석, 가속화된 애플리케이션 개발에는 데이터 복제가 필요해 스토리지 인프라의 부담이 커지고 있는 실정이다.

백업과 DR을 위해 복제 하나를 생성하고, 분석과 개발, 테스트에 물리적 복제 대신 가상 복제를 생성해 사용하면 클라우드와 온프레미스에 상관없이 스토리지 인프라 비용을 절감할 수 있다.

필자는 AWS와 구글, 마이크로소프트가 클라우드 데이터 가상화 관리 시장에 뛰어드는 것은 시간 문제라고 생각한다.

물론 규제 대상인 데이터를 중심으로 거버넌스 문제를 걱정해야 할 것이다. 그러나 클라우드 기반의 복제 데이터 관리는 큰 잠재력을 갖고 있다. 빅데이터 분석 자체가 퍼블릭 클라우드 인프라에 적합하고, 이미 개발과 테스트가 퍼블릭 클라우드 용도의 상위 자리를 차지하고 있기 때문이다.

이와 동시에 아직 초기 단계이기는 하지만 스트리밍 분석, 사물인터넷을 대상으로 한 지속적인 데이터 수집이 자리를 잡아가기 시작한 상태다. 또 크게 분산된 아키텍처에 최상의 플랫폼이 클라우드라는 점에 의견이 일치되고 있다.

무엇보다 흥미로운 부분은 이미 클라우드에 데이터 복제를 보관하고 있는 경우, 온프레미스에 위치한 1차 스토리지를 유지할 필요성이 없어질 시기가 언제인가 하는 것이다.

이런 점을 감안하면, 복제 데이터 관리는 기업의 퍼블릭 클라우드를 향한 긴 여정의 또 다른 중간 목표라 할 수 있다. editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.