IDG 블로그 | 클라우드 데이터 웨어하우스, "아무도 모르는 기술"

데이터 웨어하우스 세상에서 펼쳐지고 있는 흥미로운 신기술에 대해 들어본 적이 있을 것이다. 아마존 레드시프트(RedShift), 구글 빅쿼리(BigQuery), 그리고 좀 더 최근에는 애저 SQL 데이터 웨어하우스(Data Warehouse) 같은 툴이 등장했다.

이런 카테고리를 “클라우드 데이터 웨어하우스”라고 부른다. 구글 트렌드에서 검색 항목에 대한 그래프를 확인해보라. 폭발적인 성장이다.



그런데, 이 그래프를 보자.



빨간 색 그래프는 “아마존 레드시프트”의 검색 결과를 “클라우드 데이터 웨어하우스”의 결과와 비교해 나타낸 것이다. 훨씬 더 빠르게 성장하고 있으며, 클라우드 데이터웨어 하우스보다 몇 배는 더 커 보인다.

실제로, 구글에 따르면, “전세계에서 지난 한 해 동안 “클라우드 데이터 웨어하우스”란 용어를 검색한 사용자는 월 300명 정도에 불과했다. 이에 비해서, “아마존 레드시프트”는 전세계적으로 월 1만 4,800번이나 검색되었다.

“그 사람들은 다른 것, 아마도 ‘클라우드 상에 있는 데이터 웨어하우스’ 같은 것을 검색한 것이 틀림없다”고 생각할 수 도 있다. 이 분야에 대한 시장 조사를 몇 차례나 실시한 사람으로써, 필자는 이 범주를 설명하는 더 포괄적인 검색 용어가 없다는 것을 단언할 수 있다.

실제로, 클라우듣 데이터 웨어하우스란 카테고리는 존재하지 않는다.

클라우드 데이터 웨어하우스란 카테고리가 존재하지 않는다고 말이 이상하게 들린다는 것을 안다. 무엇보다 시장이 뜨겁고, 툴들은 인기가 있으며 아주 빠르게 성장하고 있는데 말이다. 그러나 실상은 사람들의 생각에 떠오르는 것은 툴과 서비스 명이지 해당 카테고리는 아니다.

그런데 잠깐만. 데이터 웨어하우스는 오래 전부터 있었던 것이지 않은가? 시간을 거슬러 올라가면, 19세기에 토마스 에디슨은 자신의 전기 실험 결과를 멘로 파크 연구실에 있는 확장성이 매우 뛰어난 활동 사진 영사기 플랫폼에 설치된 (레거시) 데이터 웨어하우스에 저장했다.

그렇다면 단지 “데이터 웨어하우스”에 대한 검색이 있었던 것이 확실한가?



맞다, 있다. 그리고 감소하고 있다. 그렇지만, 파란 색의 “데이터 웨어하우스”와 빨간 색의 “아마존 레드시프트” 간의 비교를 살펴보라. 레드시프트의 1만 4,800건은 “데이터 웨어하우스”와 비교해 볼 때 조족지혈이다. 데이터 웨어하우스란 용어 하나만으로 전세계적으로 월 9만 0,500회의 검색을 기록했으며, 다른 연관 검색어도 많다. “데이터 웨어하우스”는 엄청나다.

이처럼 ‘평범한’ 데이터 웨어하우스는 클라우드 데이터 웨어하우스보다 훨씬 더 크다.

또 다른 데이터 결과를 보자. 필자는 “평범한” 데이터 웨어하우스 대비 3대 주요 클라우드 웨어하우스(이런, 내가 이 말을 쓰다니! 이제 전 세계에서 301번째 멘션이 되었네)를 중심으로 사람들이 사용했던 모든 검색어를 수집하는 엄청난 수고를 했다.

“아마존 레드시프트”나 “빅쿼리”처럼 브랜드 이름만을 말하는 것이 아니라, 가능한 모든 조합을 말하는 것이다. 레드시프트란 무엇인가, 레드시프트 아키텍처, 레드시프트 클러스터, 등등.

결과는 다음과 같다:




말로 풀면 다음과 같다.

“매월 약 50만 명의 사람이, 아마도 데이터 엔지니어 워너비들, “데이터 웨어하우스” 또는 이 용어의 다른 변형에 관심을 보이고 있다. 레드시프트는 3만 8,000명, 빅쿼리는 2만 6,700명, 그리고 마이크로소프트의 SQL 데이터 웨어하우스는 겨우 13,000명.

수십 만 명의 사람들이 “데이터 웨어하우스”를 검색하고 있다. 그들이 이제 막 데이터 웨어하우스 세계에 첫 발을 내딛고 있는 것이다. 이들은 데이터 웨어하우스의 용도가 무언지, 어떻게 동작하는지, 가격을 얼마인지 같은 기본적인 것들을 알고 싶어한다. 그렇지만, 이들의 눈은 멋진 신제품과 아키텍처에 대해서는 닫혀있다.

데이터 웨어하우스를 검색하면, 구글이 검색 결과로 알려주는 것은 다음과 같은 그림이다. 엔터프라이즈 데이터 웨어하우스 검색 결과 2008개가 이렇다.



아마존과 신기술 진영이 제시하는 새로운 기술과는 많은 차이를 보인다.



극단적으로 말하자면, 50만 명의 사람들은 두번째 그림을 보지 못한다. 이들은 첫번째 그림만 보고 오라클이나 테라데이터 같은 솔루션 정보를 찾아 다닐 것이다. 물론 이런 제품을 비판하려는 것은 아니다. 훌륭한 제품들이다. 그렇지만, 그 사람들 중에서 몇 명이나 무제한의 확장성과 엄청나게 빠른 쿼리 속도를 가지고 있는 클라우드 상의 신세대 툴에 관심을 가질 수 있을 것인가?

요약해 보면, 다음과 같다.

- 분명히, 아무도 “클라우드 데이터 웨어하우스”라는 카테고리를 알지 못한다.
- 많은 사람들이 레드시프크 같은 특정 브랜드에 대해서는 알고 있다.
- 그렇지 않은 사람들이 약 10배는 된다. 이들은 그냥 “데이터 웨어하우스”를 검색한다.
- 검색 결과는 구형 아키텍처와 기존 솔루션만 보여주며, 레드시프트, 구글, 마이크로소프트 등은 결과에 없다.
- 검색 결과에 제대로 나온다면, 이들 솔루션의 시장 점유율이 지금쯤이면 5배는 되었을 것이다

필자의 생각으로는 관련 업계는 이 부분에서 커다란 기회를 놓치고 있다. 주요 업체들 누구도 눈치채지 못했거나 관심을 보이고 있는 것 같지 않은 격차가 있다. 수십만 명의 사람들이 토마스 에디슨 랜드에서 길을 잃었는데, 새롭고 멋진 세상으로 빠져나오지 못하고 있다. editor@itworld.co.kr