엔터프라이즈 데이터 플랫폼으로 발견한 ‘데이터의 혁신’

Cloudera | Cloudera 2022.01.19
ⓒ Getty Images Bank

많은 조직이 오랜 기간 투자한 온프레미스 중심의 IT 환경을 하이브리드 멀티 클라우드로 전환하고 있다. 최근 주요 조직의 IT 프로젝트를 관통하는 키워드로 ‘현대화’가 꼽히는 것도 이런 이유다. 현대화는 크게 두 측면에서 바라볼 수 있다. 하나는 플랫폼이고 다른 하나는 애플리케이션이다. 
 

클라우데라가 걸어온 길과 나아갈 방향 

클라우데라가 걸어온 길을 예로 플랫폼과 애플리케이션 현대화의 방향을 알아보자. 클라우데라는 모놀리식 아키텍처가 주를 이루던 시절부터 빅데이터 플랫폼 비즈니스를 해왔다. 당시 클라우데라는 일반적인 베어 메탈로 클러스터를 구성해 데이터 레이크를 구축해 운영하는 데 필요한 성능, 유연성, 확장성, 보안성 등에 대한 해답을 제시했다. 그렇다면 클라우드가 주도적인 아키텍처인 지금에 와서는 어떤 방향을 제안하고 있을까? 클라우데라는 기존 모놀리식 아키텍처에서 벗어나 모듈 기반 아키텍처를 통해 혁신을 주도하고 있다. 
 
ⓒ Cloudera

클라우데라의 모듈 기반 접근은 기업이 어떤 방법을 선택하건 일관성 있는 빅데이터 플랫폼 현대화를 가능하게 한다. 일반적으로 빅데이터 플랫폼의 현대화 여정은 두 가지 길로 고려할 수 있다. 하나는 기존 환경에 큰 변화를 주지 않는 선에서 모놀리식 아키텍처 기반 클러스터 및 플랫폼 환경을 CDP(Cloudera Data Platform) 프라이빗 클라우드로 마이그레이션 하는 것이다. 클라우데라 고객사의 75% 이상이 이 방법으로 빅데이터 플랫폼의 현대화를 추진한다. 플랫폼과 애플리케이션 변경을 최소화하므로 마이그레이션에 따른 위험이 적고 운영 역시 친숙한 이점이 있다. 

큰 차이가 없어 보일지 모르지만, 운영 측면에서 보면 인프라와 플랫폼 모두 대대적인 혁신이 자리하고 있다. 인프라는 컴퓨트와 스토리지가 분리된 구조를 띤다. 따라서 자원 효율이 매우 높고, 성능 보장과 확장이 매우 용이하다. 클라우드 인프라가 갖는 이점을 고스란히 제공하는 것이다. 데이터 플랫폼의 경우 데이터 서비스 방식으로 구성돼 있어 데이터가 있는 가장 가까운 곳에 있는 클러스터를 활용할 수 있어 비즈니스 요구에 매우 민첩하게 대응할 수 있다.  
 
ⓒ Cloudera

퍼블릭 클라우드로 레거시 환경을 이전하는 경우도 클라우데라의 모듈 기반 아키텍처의 이점을 누릴 수 있다. 모든 메타 데이터는 SDX(Shared Data Experience)로 가고, 저장은 객체 스토리지를 통해서 한다. 그리고 데이터 클러스터와 데이터 서비스 역시 프라이빗 클라우드와 같은 구조로 기능한다. 프라이빗 클라우드와 퍼블릭 클라우드 환경 간의 데이터, 워크로드, 서비스 이동이 자유롭다는 의미다.

이것은 매우 중요한 포인트다. 클라우데라는 일반적인 클라우드 사업자와 다른 시각으로 하이브리드를 정의한다. 클라우데라가 바라보는 하이브리드는 무한 확장과 이동의 자유를 제공하는 환경이다. 애플리케이션, 서비스, 데이터를 여러 클라우드 환경 간에 자유롭게 이동할 수 있어야 하이브리드라 말할 수 있다. 그래야 조직이 시장, 규정, 기술 등의 변화에 유연하게 대응할 수 있다. 
 
ⓒ Cloudera
 

하이브리드 데이터 클라우드의 진화 방향 

클라우데라가 보는 하이브리드 데이터 클라우드의 진화 방향은 크게 네 단계로, 그 네 단계는 다시 두 개의 여정으로 나눌 수 있다. 첫 여정은 모놀리식 아키텍처 환경에 있던 기존 데이터와 애플리케이션을 하이브리드 데이터 클라우드 아키텍처 기반의 새로운 환경으로 마이그레이션하는 것이다. 이를 통해 기존에 익숙한 방식으로 운영하는 가운데 민첩성과 효율성을 높이는 것이 첫 여정의 결과물이다.

그 후 클라우드 네이티브로 나아가는 두 번째 여정을 시작할 수 있다. 이 과정에서는 먼저 데이터와 애플리케이션의 이동성을 확보하고, 규정과 정책에 따라 동적으로 데이터와 애플리케이션을 옮기고 연계하는 수준으로 나아가게 된다. 이 수준에 이르면 진정한 하이브리드 데이터 클라우드를 통해 데이터의 활용 가치를 극대화할 수 있게 된다. 
 
ⓒ Cloudera

하이브리드 데이터 클라우드로 진화의 길을 걷고 있는 기업 사례를 통해 새로운 환경으로의 전환이 갖는 효과를 알아보자. 첫 번째 예는 아시아태평양 지역의 통신사다. 이 기업은 온프레미스와 퍼블릭 클라우드를 연계해 데이터의 이동성을 확보했다. 이 통신사는 머신러닝(ML) 모델 훈련에 AWS를 이용한다. 시간과 비용 효율을 높이기 위해서인데, 모델 훈련에 필요한 데이터는 온프레미스에 있는 데이터 레이크에 있다.

이 통신사는 모델 훈련에 필요한 내부에 있는 데이터를 복제해 AWS로 보내는 방식으로 각각의 환경을 연계했다. 모델 훈련과 최적화를 마친 이 기업은 온프레미스에 있는 프로덕션 환경에 모델을 배포했다. 모델 훈련과 배포의 모든 과정에 걸쳐 데이터를 신속하고 효율적으로 이동하는 민첩성을 보인 것이다. 
 
ⓒ Cloudera

두 번째 사례는 코드 수정 없이 퍼블릭 클라우드로 애플리케이션을 마이그레이션 한 유럽의 한 은행이다. 금융업의 특성상 까다로운 규정을 충족해야 한다. 클라우데라는 이를 고려해 보안과 거버넌스 등 은행이 모든 요구 사항을 반영하는 가운데 코드를 다시 작성하지 않고도 애플리케이션을 퍼블릭 클라우드로 마이그레이션할 수 있는 방안을 제시했다.

은행 IT 관계자 눈으로 보기에는 기존 모놀리식 기반 환경과 크게 달라 보이지 않지만, 내부는 하이브리드 데이터 클라우드로 완전히 바꾸는 것이다. 은행은 성공적으로 프로젝트를 수행했고, 그 결과 데이터 플랫폼을 클라우드로 이전했음에도 애플리케이션을 수정할 필요가 없었다.
 
ⓒ Cloudera

세 번째 예는 금융 서비스 기업이다. 이 조직은 한번 짠 코드를 원하는 위치 어디서나 실행하길 원했다. 클라우데라는 이를 수용하기 위해 모든 위치에서 애플리케이션을 실행할 수 있는 데이터 플랫폼으로 하이브리드 데이터 클라우드 아키텍처를 제안했다. 
 
ⓒ Cloudera

마지막 사례는 클라우데라가 보는 하이브리드 데이터 클라우드의 진화에서 가장 진보된 예를 보여주는 미국의 한 기술 기업 이야기다. 이 기업은 데이터를 여러 위치에 있는 오브젝트 스토리지 환경에 저장하고, 다양한 클라우드 환경에 있는 데이터 서비스를 이용해 애플리케이션을 배포하고 운영한다. 클라우데라가 말하는 데이터와 애플리케이션 이동성을 실제 비즈니스에서 실행에 옮기고 있는 것이다. 
 

애플리케이션 현대화

이제 현대화의 다음 주제인 애플리케이션에 대해 알아보자. 데이터 측면에서 애플리케이션 현대화를 바라보면 큰 변화는 인프라와 플랫폼 모두에서 일어난다. 데이터를 저장하고 파이프라인을 구축해 운영하는 인프라와 플랫폼은 베어 메탈 기반의 모놀리식 아키텍처에서 클라우드 인프라와 모듈 기반의 아키텍처로 바뀐다. 그리고 이 환경에서 데이터와 애플리케이션 위치에 관계없이 데이터 서비스를 활용할 수 있게 된다.

따라서 애플리케이션 현대화 프로젝트를 추진할 때 데이터 서비스는 필요에 따라 유연하게 조합해 즉시 제공이 가능하다. 데이터 서비스는 머신러닝, 분석, 셀프서비스 등 패턴에 따라 조합이 가능하며, 클라우데라는 지속해서 새로운 패턴을 공개하고 있다. 
 
ⓒ Cloudera
 

‘현대화’ 프로젝트의 성공 확률을 높이려면? 

레거시에서 클라우드 네이티브로 향하는 현대화 여정은 어느 조직이나 결국 걸어야 하는 길이다. 현대화 프로젝트는 익숙함 속에서 새로움을 찾아 나갈 수 있을 때 성공 확률이 높다. 그래서 클라우데라의 엔터프라이즈 데이터 클라우드 비전에는 데이터와 애플리케이션의 현대화가 담겨 있다.

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.