엔터프라이즈 데이터 클라우드의 진화

2021년 현재 데이터 전문가들은 폭풍 전야의 시기를 보내고 있다. 코로나19로 사회적 거리 두기가 장기화되면서 기업은 업무 연속성을 이어가기 위해 디지털 전환을 서두르고 있으며, 그 일환으로 원격 근무를 확대하고 있다. 비즈니스 일상이 디지털 세상에 머무는 시간이 길어지면서 데이터 증가세는 매우 가파른 상향 곡선을 그리고 있다. 이 추세는 앞으로도 이어져 2020년 59제타바이트(ZB)규모의 데이터 양은 2024년 149제타바이트(ZB) 수준까지 급증할 전망이다. 



데이터가 늘어난다는 것은 데이터 엔지니어, 데이터 과학자의 눈에는 ‘복잡성의 증가’로 보인다. 전문가 측면에서 데이터 급증 추세는 앞으로 수집하고 처리해야 할 데이터 유형이 더 많아질 것이고, 위치도 다양할 것이고, 데이터에 접근하는 워크로드 역시 다변화될 것을 예고한다. 이와 관련해 클라우데라 세션 코리아에서 기조연설을 맡은 클라우데라 최고고객책임자(CCO) 아누팜 싱의 발표 내용 속에서 데이터 폭풍 시대를 헤쳐나갈 전략을 정리했다.      
 

데이터 폭풍이 전문가들에게 끼칠 영향

데이터 엔지니어, 데이터 과학자와 같은 전문가에게 데이터 폭풍 시대는 어떤 의미일까? 2010년만 하더라도 전문가가 다루는 데이터 유형은 단순해 원시 데이터를 잘 수집하고 가공해 전달만 하면 충분했다. 하지만 2015년이 되면서 분석 요구와 함께 트랜잭션 데이터 접근을 해야하는 워크로드가 증가하면서 작업이 많아졌다. 지금에 와서 2015년을 내려다 보면, 이는 폭풍 전야일 뿐이었다. 2021년 현재 전문가가 다뤄야 하는 데이터 유형은 5가지로 늘었고, 워크로드도 많아졌다. 
 
데이터 유형과 워크로드가 모두 증가한 가운데 사용자의 기대치 또한 높아졌다. 사용자는 원할 때 데이터를 곧바로 보기를 원한다. 그리고 데이터 수집, 보강, 보고, 예측 등 데이터 라이프사이클 단계별로 사용자 경험에 대한 기준도 다 맞춰야 한다. 이를 위해 라이프사이클 전반에 걸쳐 모든 데이터 유형을 아우르는 보안, 거버넌스, 계보(리니지), 관리, 자동화 기반이 요구된다. 
 
역할과 책임의 조정
이처럼 데이터 유형과 워크로드가 다양해지면서 데이터 담당자의 역할도 늘었다. 보통 ‘데이터’를 말하면 데이터 엔지니어를 떠올리던 시절이 있었다. 이는 원시 데이터와 트랜잭션 데이터 처리가 주를 이루던 2010년과 2015년 사이에는 당연했다. 하지만 데이터와 워크로드 유형이 더 많아진 2021년에는 맞지 않다. 현재 조직에서 데이터 관련 역할과 책임이 주어진 이들은 데이터 엔지니어 외에도 BI 분석가, 데이터 과학자, 앱 개발자, 데이터 아키텍트, 인프라 관리자, 규제 관리자 등으로 많아졌다. 대규모 조직은 각 역할마다 담당자가 정해져있지만, 일반적으로 한 명이 3~4가지 역할을 동시에 맡고 있다. 

특히 데이터를 다루는 이들 가운데 현업 부서 사용자가 포함되어 있다는 점에 주목해야 한다. 퍼블릭 클라우드에서 다양한 데이터 도구와 서비스를 제공하다 보니 최근 현업 부서는 IT 부서나 데이터 담당자를 거치지 않고 직접 데이터를 다루는 경우가 많다. 데이터 분야에서 섀도우 IT가 상당히 큰 관리 사각지대로 등장한 이유다. 원인을 알아야 문제를 해결할 수 있는 법, 클라우데라는 데이터 관련 섀도우 IT 증가 원인으로 현업이 요구하면 안 된다는 답변 일색인 IT 부서의 대응을 꼽는다. 
 
IT 부서가 안 된다고 하는 데에는 다 이유가 있다. 데이터 라이프사이클 단계마다 포인트 솔루션을 적용해온 것이 발목을 잡는 것이다. 단계마다 적용한 포인트 솔루션은 특정 요구를 만족할 순 있지만, 새로운 유형의 데이터와 워크로드를 지원하는 데 한계가 있다. 또한, 데이터 라이프사이클 측면에서 단계마다 적용한 포인트 솔루션을 통합할 만한 기반 마련도 어렵다. 이런 이유로 단계별로 보안, 규제, 관리 등의 체계를 따로 구현하는 경우가 많다.

문제는 다양한 유형의 데이터와 워크로드를 포괄하는 라이프사이클 관리는 포인트 솔루션 중심으로 데이터 관리 체계를 마련한 조직이 쉽게 실행할 수 없는 접근법이란 것이다. 이런 현실적인 문제를 해결하기 위해 클라우데라가 제시한 것이 CDP(Cloudera Data Platform)와 SDX(Shared Data Experience)다.
엔터프라이즈 데이터 클라우드의 초석 ‘CDP & SDX’ 
CDP는 모든 클라우드를 수용하며, 데이터 라이프사이클을 단절 없이 관리하고, 모든 단계를 포괄하는 단일 보안과 거버넌스 체계를 제공한다. 더불어 오픈소스와 개방형 기술 중심의 혁신과 서드파티 연계를 보장한다. CDP를 엔터프라이즈의 하이브리드, 멀티클라우드 전략과 방향을 같이 하는 엔터프라이즈 데이터 플랫폼(Enterprise Data Platform)이라 부르는 이유다.

CDP는 컨테이너 기반의 배포와 확장이 용이한 아키텍처를 채용했기 때문에 특정 클라우드 업체나 기술에 종속될 우려가 없다. 온프레미스, 프라이빗, 하이브리드, 퍼블릭 클라우드 모두에 대한 투명한 보안, 거버넌스 체계를 정립하는 것은 매우 어려운 일인데, 클라우데라는 이를 SDX릍 통해 해결한다. 

클라우데라는 데이터 라이프사이클 측면에서 모든 환경을 수용하는 관리 환경, 바로 엔터프라이즈 데이터 클라우드를 제시한다. 이 환경은 기업의 데이터 전문가가 서비스와 위치에 관계없이 공유 데이터 기반을 이용할 때 누릴 수 있는 간결함과 편리함을 제공한다. 데이터 이동도 쉽다. 온프레미스, 퍼블릭 등 원하는 위치로 간단히 데이터를 복제할 수도 있다. 클라우데라가 말하는 엔터프라이즈 데이터 클라우드는 비전인 동시에 실체를 가진 환경이다. 이는 CDP의 진화 과정을 통해 바로 알 수 있는 사실이다. 
클라우데라 CDP는 진화를 거듭하고 있다. 인공 지능(AI), 머신러닝 기반 예측 워크로드를 위한 데이터 파이프라인 구축과 실행은 이미 반영되어 있다. 로드맵에 따르면 앞으로 12개월 이내에 프라이빗 클라우드와 퍼블릭 클라우드에서 기업이 누릴 수 있는 다양한 데이터 유형과 워크로드에 대한 사용자와 관리자 모두의 경험이 크게 강화될 예정이다.