맵알 창업자가 밝히는 '2015년 5가지 빅데이터 성장 동인'

빅데이터 기술은 2015년에 기업의 모든 부문엔 침투하는 단계로 발전할 것이다. 맵알 CEO이자 공동창업자인 존 슈뢰더가 내년 빅데이터 기술을 지배할 5가지 주요 기술에 대한 전망을 밝혔다.

단 몇 년 만에 빅데이터 기술은 유행 수준에서 새로운 디지털 시대의 핵심 요소가 됐다. 2014년에는 기업 내 빅데이터 전략들이 테스트 수준을 벗어나 실행 단계로 더 많이 진전됐다. 하둡 배포 전문 맵알의 CEO이자 공동 창업자인 존 슈뢰더는 2015년에 빅데이터가 특히 실시간 사용 등 더 많은 활용 사례들이 생겨나면서 기업 내에 영역을 넓혀갈 것이라고 이야기했다.

“내년은 기업들이 빅데이터를 처음 도입하는 단계를 넘어 실시간으로 확대하는 한 해가 될 것”이라고 슈뢰더는 전망했다. “이는 기존 업계 선두 기업들과 이들의 뒤를 바짝 쫓는 도전 기업이 이미 새로운 빅데이터 플랫폼을 비즈니스 현황에 영향을 줄 있는 ‘현재 보유 중인’ 데이터를 자신들의 분석에 통합시키려는 큰 움직임이 실현되면서 시장을 주도할 것이다”라고 그는 덧붙였다.

슈뢰더는 다음의 5가지가 2015년 빅데이터 성장의 동인이 될 것이라고 밝혔다.

1. 데이터 민첩성, 가장 큰 관심사로 부각
기존 데이터베이스와 데이터웨어하우스(DW)는 현업의 많은 요구사항을 충족하기에 너무 느리고 유연성이 떨어지면서 데이터 민첩성(agility)이 빅데이터 기술 개발 이면의 큰 요인들 중 하나가 됐다. 슈뢰더에 따르면, 2015년에는 기업들이 단순히 데이터를 수집하고 관리하는 것에서 활발하게 데이터를 이용하는 쪽으로 바꾸면서 데이터 민첩성이 더욱 중요해질 것이라고 말했다.

“기존 데이터베이스와 DW에서는 데이터를 완전히 정형화하고 요약하는데 DBA 자원이 필요하기 때문에 비용이 많이 든다”고 그는 지적했다. “이미 DBA에 들어간 비용은 새로운 데이터 소스에 대한 접속을 지연시키고, 경직된 구조는 시간이 지날수록 변경하기가 매우 어려워진다. 결과적으로 구형 데이터베이스가 오늘날 대부분의 기업 요구사항을 충족할 만큼 충분한 민첩성을 제공하지 못하게 됐다”라고 슈뢰더는 전했다.

“초기 빅데이터 프로젝트들은 대상 데이터 소스의 스토리지에 초점을 맞췄다”고 그는 덧붙였다. “기업은 이제 얼마나 많은 데이터를 관리하느냐에 초점을 맞추는 게 아니라 얼마나 신속하게 데이터를 처리하고 분석하느냐에 관심을 갖게 될 것이다”고 슈뢰더는 전망했다. 이어서 그는 “데이터를 처리하고 분석하는 능력이 조직에 어떻게 영향을 미칠까? 그들이 얼마나 빠르게 고객 선호, 시장 현황, 경쟁, 운영 상태의 변화에 맞춰 대응하고 조정할 수 있을까? 이런 질문들이 2015년 빅데이터 프로젝트의 범위와 투자를 결정하게 될 것이다”고 설명했다.

2. 데이터 레이크에서 데이터 플랫폼 프로세싱으로 전환
어떤 의미에서 2014년은 데이터 레이크(또는 데이터 허브)의 해였다. 데이터 레이크는 데이터가 정형, 비정형, 또는 반정형이건 간에 네이티브 형태로 데이터를 있는 그대로 사용할 준비가 될 때가지 저장하는 객체-기반 스토리지 리포지토리다. 데이터 레이크는 테라바이트 당 비용이 저렴하고, 확장가능하며, 극도로 민첩한 인프라를 대표하면서 강력한 가치를 가진다.

슈뢰더는 2015년에도 다수의 연산과 실행 엔진을 데이터 레이크로 가져와 그 위치에서 데이터를 처리할 수 있는 능력을 통해 계속 진화할 것이라고 내다봤다. 그게 더 효율적일 뿐 아니라 단일 거버넌스와 단일 보안점을 생성하기 때문이다.

“2015년, 기업들이 구축에서 실시간 프로세싱으로 이동하고, 파일-기반 하둡과 데이터베이스 엔진을 그들의 대규모 프로세싱 플랫폼으로 통합함에 따라 데이터 레이크는 진화하게 될 것이다”고 그는 말했다. “다시 말해, 더 큰 쿼리와 보고서를 지원하는데 데이터 레이크의 대규모 스토리지가 중요한 게 아니라는 것이다. 2015년에는 항상 의식하면서 즉각적인 행동을 취하기 위해 실시간 데이터와 이벤트의 지속적인 접속 및 프로세싱이 주목받을 것이다”라고 슈뢰더는 전망했다.

3. 셀프-서비스 빅데이터 주류로 부상
빅데이터 툴과 서비스의 발전은 ‘2015년이 IT가 현업 사용자들과 데이터 과학자들의 데이터 접속 병목 현상을 경감시키는 해’가 됨을 의미한다고 슈뢰더는 강조했다.

“2015년 IT는 현업 사용자의 셀프-서비스를 빅데이터에 허용하기 위해 셀프-서비스 빅데이터를 받아들일 것이다”고 그는 말했다. “셀프-서비스는 개발자, 데이터 과학자, 데이터 분석가들에게 직접 데이터를 탐사할 수 있는 권한을 부여해 준다”라고 그는 밝혔다.

이전까지는 IT가 중앙집중된 데이터 구조를 만들어야 했었다고 그는 지적했다. “이는 시간 소모적이고 비용도 많이 든다. 하둡은 몇몇 사례에서 스트럭처-온-리드(structure-on-read)를 통해 편리하게 만들어주었다. 이제 사용자들은 진행중인 요건들을 충족시키기 위해 중앙집중 구조에서 탈피해 바로 실행에 옮겨 데이터 바인딩(data bindings)으로 이동할 것이다. 이런 셀프-서비스는 조직이 새로운 데이터 소스를 활용하고 기회와 위협에 반응하는 능력을 가속화할 것이다”라고 슈뢰더는 예상했다.

4. 하둡 업체의 제휴 : 새로운 사업 모델의 발달
2013년 초, 인텔은 자체 하둡 배포판을 내놓으며 하둡이 실리콘에 직접 찍히게 하는 근원적인 접근방식을 취해 스스로를 차별화하겠다고 밝혀 업계에 파장을 일으킨 바 있다. 하지만 1년 후, 인텔은 자체 배포판을 버리고 하둡 배포판 업체인 클라우데라에 힘을 실어주겠다고 발표했다.

당시 인텔은 고객들이 하둡 시장이 어떻게 변할지 지켜보는 것이라고 언급했다. 당시 하둡 옵션들의 수는 너무 많았다. 슈뢰더는 이 시장에서 낙오자들이 자신들의 배포판을 중단하고 스택 내 다른 부분으로 주력 분야를 옮김에 따라 하둡 업체들의 통합이 2015년에도 지속될 것으로 전망했다.

“우리는 막대한 가치를 시장에 제공해온 오픈소스 소프트웨어로 접어든지 20년이 되었다”고 슈뢰더는 밝혔다. “기술은 단계적으로 성숙한다. 기술 주기는 혁신과 고도로 차별화된 제품으로 시작되고, 제품이 점진적으로 상용화됨에 따라 끝난다. [에드가 F(Edgar F)] 코드(Codd)는 관계형 데이터베이스 개념을 1969년 만들어냈고, 혁신은 1986년 오라클 기업 공개로 이어졌으며 1995년 첫 MySQL 출시로 인해 상용화가 시작됐다. 그러므로 역사적으로 데이터베이스 플랫폼 기술의 성숙에는 그 어떤 상용화도 이루어지기 이전에 26년 간의 시간이 필요했다”라고 슈뢰더는 설명했다.

“하둡은 기술 성숙도 주기에서 초기 단계에 있으며, 중대한 맵리듀스(MapReduce) 백서를 구글이 공개한 지 이제 겨우 10년 밖에 되지 않았다”고 그는 덧붙였다. “하둡의 채택은 전세계적으로 또 규모적으로 첫 개념이 나온 지 단 10년 만에 다른 데이터 플랫폼들보다 훨씬 앞서나가고 있다. 하둡은 혁신 단계에 머물러 있기 때문에, 실수로 ‘레드햇 포 하둡(Red Hat for Hadoop)’ 전략을 채택한 업체들은 이미 시장을 떠나고 있다. 인텔, 그리고 곧 떠나게 될 EMC 피보탈(EMC Pivotal)이 대표적이다”라고 그는 밝혔다.

슈뢰더는 2015년에는 심층적인 혁신과 커뮤니티 개발을 혼합한 새롭고 더욱 미묘한 오픈소스 소프트웨어 모델의 진화를 보게 될 것으로 믿었다.

“오픈소스 커뮤니티는 표준과 합의를 이뤄내는데 있어서 그 무엇보다도 중요하다”고 그는 이야기했다. “배치 분석 프로세서에서 시작된 하둡을 전면적인 데이터 플랫폼으로 탈바꿈하는 데 경쟁이 촉매 역할을 한다”라고 슈뢰더는 덧붙였다.

5. 엔터프라이즈 아키텍트가 빅데이터의 과대광고를 잠재울 듯
2015년에는 엔터프라이즈 아키텍트들의 하둡 기술 스택 이해도가 향상되면서 빅데이터 애플리케이션의 요건에 고가용성과 비즈니스 연속성 등의 요소가 포함되는 등 더 자세하게 정리됨에 따라 아키텍트가 주목받게 될 것이다.

“기업들이 실험 수준에서 빠르게 벗어나 실제 도입하면서 엔터프라이즈 아키텍트들은 빅데이터 채택 과정에서 가장 중요한 입지를 확보할 수 있게 됐다”고 슈뢰더는 이야기했다.

“SLA를 준수하고, 고가용성을 제공하며, 중요 요구사항을 충족시키는데 필요한 기존 아키텍처를 결정하는 게 IT임원들에게는 핵심이 될 것이다. 2014년 하둡을 둘러싼 생태계 호황은 애플리케이션, 툴, 요소들의 확산으로 이어졌다. 2015년 시장은 각 플랫폼의 차이점과, 하둡을 데이터센터에 통합시키고 비즈니스 결과물을 제공하는데 필요한 아키텍처에 초점을 맞출 것이다”라고 슈뢰더는 덧붙였다. ciokr@idg.co.kr