2011.02.15

CIO가 알아야 할 ‘9가지 데이터 웨어하우징 동향’

Georgina Swan | CIO

가트너가 CIO들을 대상으로  '2011년 및 2012년 주요 데이터 웨어하우징 동향’에 대해 메시지를 발송했다. 여기에는 이 기간 동안의 데이터 웨어하우징 동향이 비즈니스 애널리틱스 확산 관련 기술에 어떻게 영향을 미칠지에 대해 기술돼 있다.

 

가트너에 따르면, 데이터 웨어하우스는 IT 인프라스트럭처의 핵심 요소로 남아있을 전망이다. 비즈니스 인텔리전스(BI)와 비즈니스 분석에 대한 수요가 커지고, 최적화와 유연한 설계, 대안 전략이 점차 중요해질 전망이기 때문이다.

 

가트너 리서치 담당 부사장 마크 베이어는 "데이터 웨어하우스는 대기업에서 가장 큰 정보 저장소 중 하나로 남아있게 될 것"이라며, "따라서 CIO는 시장 동향을 파악하고, 새로운 기술 솔루션이 어떤 방식으로 기존 방법들과 혼합될지 이해해야만 예산상의 낭비를 피할 수 있다"라고 설명했다.

 

가트너는 2011년~2012년 데이터 웨어하우징 시장의 9가지 주요 동향을 다음과 같이 전망하고 있다.

 

◇ CPU/메모리 밸런싱, 디스크 스토리지, I/O 등 하드웨어 관리를 위한 최신 기능은 이제 데이터 웨어하우스 구현 플랫폼에 있어 당연한 요소로 자리잡았다. 일부 신규 진출 업체들은 차별화를 위해 최적화에 초점을 맞추고 있으며, 대다수의 데이터 웨어하우스 업체들은 압축과 사용 기반의 데이터 배치 전략을 통해 스토리지를 최적화를 강조하고 있다. 그러나 이러한 것들이 실 사용에 있어 반드시 중요한 것만은 아니다.

 

◇ 기업들이 어플라이언스를 구매하는 이유는 많지만, 가장 주된 이유는 간소함을 위해서다. 업체에서 실행 성능을 예측할 수 있도록 하드웨어와 소프트웨어, 서비스를 구성하고, 확인하기 때문이다. 또한 어플라이언스는 완성된 상태이기 때문에 설치도 빠르다.

 

따라서 여타 문제가 발생하면 어플라이언스 업체에게 전화를 거는 것으로 1차 조처를 취할 수 있다. 이외에도 하드웨어 조정에 드는 시간 소모를 피하도록 해준다는 점에서 2차효과도 창출될 수 있다.

 

◇ 기업 대부분은 데이터 웨어하우스 데이터베이스 관리 시스템을 선정하는 단계에서 선별한 업체들을 대상으로 POC(proof of concept: 개념 또는 기능 검증)를 수행해야만 한다는 점을 잘 알고 있다.

 

가트너는 가능하면 운영 시스템에서 데이터를 추출한 실제 소스 시스템을 이용해 POC를 할 것을 권장한다. 또 많은 사용자를 대상으로 해야 하고, 실제로 사용되는 환경에 부합하는 방식으로 데이터 웨어하우스 작업부하를 생성해야 한다.

 

◇ 데이터 웨어하우스가 제공하게 되는 작업부하에는 벌크/배치(Bulk/batch) 부하, 기본 리포팅, 기본 OLAP(온라인 분석 처리), 실시간/지속 부하, 데이터 마이닝 및 운영 BI의 6가지가 있다.

 

이들 6가지 작업부하를 제공하는 웨어하우스에 대해 작업부하 성능의 예측성을 위해 평가해야만 한다. 작업부하 분담에 대한 계획이 잘못되면 관리 비용이 올라가게 되고, 볼륨과 추가 작업부하가 더해지면 중대한 지속가능성(sustainability) 문제를 초래할 수 있기 때문이다.

 

◇ 데이터 마트는 규모에 관계없이 특정 애플리케이션 전용 분석 저장소로, 일반적으로 데이터 웨어하우스보다 특정 소규모 사용자 그룹을 갖는다. 데이터 마트는 데이터 웨어하우스를 최적화하는데 사용할 수 있는데, 작업부하의 일부를 데이터 마트로 분담시킴으로써 웨어하우징 환경의 성능을 높이는 방식을 활용한다.

 

◇ 컬럼스토어(Column-store) 데이터베이스 관리 시스템은 일반적으로 기존의 로우 기반 시스템에 비해 쿼리 응답이 빠르다. 따라서 뛰어난 데이터 마트 플랫폼으로, 더 나아가 주 데이터 웨어하우스 플랫폼으로 역할을 할 수도 있다. 가트너는 일부 업체들의 경우, 전통적인 사용자 또는 코어 모델 방식에서 데이터베이스에 불러들인 데이터 볼륨을 토대로 하는 소프트웨어 가격 모델 방식으로 바꿀 것이라고 예측하고 있다.

 

◇ 인-메모리 데이터베이스 관리 기술은 쿼리 응답과 데이터 커밋(data commit) 시간이 아주 빠르다. 또 분석 및 트랜잭션 시스템이 동일한 데이터베이스를 공유할 수 있는 가능성이 한층 높아진다.

 

미들 티어(middle tier)의 데이터 서비스, 마스터 데이터 접근법, 분석 데이터 모델이 지배적인 방식으로 부상하기 시작하면서, 기존의 로우 기반(row-based) 업체들이 컬럼 방식과 인-메모리 방식을 점차 더 많이 수용하도록 부추기고 있다. BI 솔루션은 일찌감치 부상할 것으로 보이며, 이로 인해 고성능 제품의 인-메모리 데이터베이스 관리가 강화되고, 대형 업체들의 인수 목표가 될 것으로 보인다.

 

◇ 2011년, 서비스로 제공되는 데이터 웨어하우스는 SaaS(Software as a service)와 아웃소싱 데이터 웨어하우스 두 가지 형태이다. 클라우드 상의 데이터 웨어하우스는 근본적으로 인프라스트럭처 설계를 어떻게 할 것인가의 문제이다. 여전히 데이터 모델을 개발해야 하고, 통합 전략을 적용해야 하고, BI 사용자 액세스가 가능하고 관리되어야 하기 때문이다. 프라이빗 클라우드는 일부 기업에 있어 주요 인프라 설계 방안의 하나로 부상하고 있다.

 

◇ 오픈소스 데이터베이스 관리 시스템은 여전히 실험적으로, 그리고 형식적으로 사용되고 있다. 현재 오픈소스 웨어하우스는 드물며, 전통적인 웨어하우스보다 소규모이고, 더 많은 수동 지원을 요구하는 게 일반적이다. 하지만 일부 솔루션은 데이터 웨어하우징 전용으로 최적화되어 있다.  editor@idg.co.kr



2011.02.15

CIO가 알아야 할 ‘9가지 데이터 웨어하우징 동향’

Georgina Swan | CIO

가트너가 CIO들을 대상으로  '2011년 및 2012년 주요 데이터 웨어하우징 동향’에 대해 메시지를 발송했다. 여기에는 이 기간 동안의 데이터 웨어하우징 동향이 비즈니스 애널리틱스 확산 관련 기술에 어떻게 영향을 미칠지에 대해 기술돼 있다.

 

가트너에 따르면, 데이터 웨어하우스는 IT 인프라스트럭처의 핵심 요소로 남아있을 전망이다. 비즈니스 인텔리전스(BI)와 비즈니스 분석에 대한 수요가 커지고, 최적화와 유연한 설계, 대안 전략이 점차 중요해질 전망이기 때문이다.

 

가트너 리서치 담당 부사장 마크 베이어는 "데이터 웨어하우스는 대기업에서 가장 큰 정보 저장소 중 하나로 남아있게 될 것"이라며, "따라서 CIO는 시장 동향을 파악하고, 새로운 기술 솔루션이 어떤 방식으로 기존 방법들과 혼합될지 이해해야만 예산상의 낭비를 피할 수 있다"라고 설명했다.

 

가트너는 2011년~2012년 데이터 웨어하우징 시장의 9가지 주요 동향을 다음과 같이 전망하고 있다.

 

◇ CPU/메모리 밸런싱, 디스크 스토리지, I/O 등 하드웨어 관리를 위한 최신 기능은 이제 데이터 웨어하우스 구현 플랫폼에 있어 당연한 요소로 자리잡았다. 일부 신규 진출 업체들은 차별화를 위해 최적화에 초점을 맞추고 있으며, 대다수의 데이터 웨어하우스 업체들은 압축과 사용 기반의 데이터 배치 전략을 통해 스토리지를 최적화를 강조하고 있다. 그러나 이러한 것들이 실 사용에 있어 반드시 중요한 것만은 아니다.

 

◇ 기업들이 어플라이언스를 구매하는 이유는 많지만, 가장 주된 이유는 간소함을 위해서다. 업체에서 실행 성능을 예측할 수 있도록 하드웨어와 소프트웨어, 서비스를 구성하고, 확인하기 때문이다. 또한 어플라이언스는 완성된 상태이기 때문에 설치도 빠르다.

 

따라서 여타 문제가 발생하면 어플라이언스 업체에게 전화를 거는 것으로 1차 조처를 취할 수 있다. 이외에도 하드웨어 조정에 드는 시간 소모를 피하도록 해준다는 점에서 2차효과도 창출될 수 있다.

 

◇ 기업 대부분은 데이터 웨어하우스 데이터베이스 관리 시스템을 선정하는 단계에서 선별한 업체들을 대상으로 POC(proof of concept: 개념 또는 기능 검증)를 수행해야만 한다는 점을 잘 알고 있다.

 

가트너는 가능하면 운영 시스템에서 데이터를 추출한 실제 소스 시스템을 이용해 POC를 할 것을 권장한다. 또 많은 사용자를 대상으로 해야 하고, 실제로 사용되는 환경에 부합하는 방식으로 데이터 웨어하우스 작업부하를 생성해야 한다.

 

◇ 데이터 웨어하우스가 제공하게 되는 작업부하에는 벌크/배치(Bulk/batch) 부하, 기본 리포팅, 기본 OLAP(온라인 분석 처리), 실시간/지속 부하, 데이터 마이닝 및 운영 BI의 6가지가 있다.

 

이들 6가지 작업부하를 제공하는 웨어하우스에 대해 작업부하 성능의 예측성을 위해 평가해야만 한다. 작업부하 분담에 대한 계획이 잘못되면 관리 비용이 올라가게 되고, 볼륨과 추가 작업부하가 더해지면 중대한 지속가능성(sustainability) 문제를 초래할 수 있기 때문이다.

 

◇ 데이터 마트는 규모에 관계없이 특정 애플리케이션 전용 분석 저장소로, 일반적으로 데이터 웨어하우스보다 특정 소규모 사용자 그룹을 갖는다. 데이터 마트는 데이터 웨어하우스를 최적화하는데 사용할 수 있는데, 작업부하의 일부를 데이터 마트로 분담시킴으로써 웨어하우징 환경의 성능을 높이는 방식을 활용한다.

 

◇ 컬럼스토어(Column-store) 데이터베이스 관리 시스템은 일반적으로 기존의 로우 기반 시스템에 비해 쿼리 응답이 빠르다. 따라서 뛰어난 데이터 마트 플랫폼으로, 더 나아가 주 데이터 웨어하우스 플랫폼으로 역할을 할 수도 있다. 가트너는 일부 업체들의 경우, 전통적인 사용자 또는 코어 모델 방식에서 데이터베이스에 불러들인 데이터 볼륨을 토대로 하는 소프트웨어 가격 모델 방식으로 바꿀 것이라고 예측하고 있다.

 

◇ 인-메모리 데이터베이스 관리 기술은 쿼리 응답과 데이터 커밋(data commit) 시간이 아주 빠르다. 또 분석 및 트랜잭션 시스템이 동일한 데이터베이스를 공유할 수 있는 가능성이 한층 높아진다.

 

미들 티어(middle tier)의 데이터 서비스, 마스터 데이터 접근법, 분석 데이터 모델이 지배적인 방식으로 부상하기 시작하면서, 기존의 로우 기반(row-based) 업체들이 컬럼 방식과 인-메모리 방식을 점차 더 많이 수용하도록 부추기고 있다. BI 솔루션은 일찌감치 부상할 것으로 보이며, 이로 인해 고성능 제품의 인-메모리 데이터베이스 관리가 강화되고, 대형 업체들의 인수 목표가 될 것으로 보인다.

 

◇ 2011년, 서비스로 제공되는 데이터 웨어하우스는 SaaS(Software as a service)와 아웃소싱 데이터 웨어하우스 두 가지 형태이다. 클라우드 상의 데이터 웨어하우스는 근본적으로 인프라스트럭처 설계를 어떻게 할 것인가의 문제이다. 여전히 데이터 모델을 개발해야 하고, 통합 전략을 적용해야 하고, BI 사용자 액세스가 가능하고 관리되어야 하기 때문이다. 프라이빗 클라우드는 일부 기업에 있어 주요 인프라 설계 방안의 하나로 부상하고 있다.

 

◇ 오픈소스 데이터베이스 관리 시스템은 여전히 실험적으로, 그리고 형식적으로 사용되고 있다. 현재 오픈소스 웨어하우스는 드물며, 전통적인 웨어하우스보다 소규모이고, 더 많은 수동 지원을 요구하는 게 일반적이다. 하지만 일부 솔루션은 데이터 웨어하우징 전용으로 최적화되어 있다.  editor@idg.co.kr



X