클라우드

성공적인 하이브리드∙멀티클라우드 전환을 위한 로드맵 업데이트, 지금부터 시작해야 하는 이유

 | Cloudera 2021.07.06
ⓒ Getty Images Bank

업계 최초의 엔터프라이즈 데이터 클라우드인 CDP(Cloudera Data Platform)는 빠르게 진화 중이다. 하이브리드 멀티 클라우드가 모든 기업의 최우선 IT 전략인 시대에 맞게 모든 클라우드에서 비즈니스 분석을 지원하며, 데이터 보안과 데이터 리니지 역시 모든 환경을 포괄하는 기능성을 제공한다. CDP는 온프레미스, 하이브리드, 멀티 클라우드 환경에서 하나의 플랫폼으로 동일한 사용자 경험을 보장한다. 현재 HDP 클러스터나 CDH 클러스터를 운영 중이라면 업그레이드를 통해 클라우드 친화적인 CDP 클러스터로 전환할 수 있다. 
 
ⓒ Cloudera

현재 조직의 클라우드 여정에 맞는 폼팩터를 선택해 CDP로 전환할 수 있다. 클라우데라는 CDP Private Cloud Base(이하 CDP Base), CDP Public Cloud(이하 CDP PC)라는 두 가지 선택지를 제시한다. 이를 통해 기업이 프라이빗 클라우드에서 퍼블릭 클라우드까지 자사의 하이브리드 멀티 클라우드 전략 추진 현황에 맞는 방식으로 데이터 플랫폼을 현대화할 수 있게 돕는다. 각각에 대해 알아보자. 
 

CDP Base를 통한 프라이빗 클라우드 여정 시작 

CDP Base는 CDP의 온프레미스 버전이라 보면 된다. 쉽게 이해할 수 있는 내용은 CDP Base는 기존 베어메탈 환경에서 운영되는 HDP 또는 CDH와 동일한 실행 아키텍처를 제공한다고 보면 된다. 여기에  CDP Base에서 통합 저장 제공되는 데이터나 메타 정보들을 물리적으로 분리된 Compute-Only 클러스터에서 활용할 수 있는 기능이 추가되었다.  여기서 중요한 질문이 떠오를 것이다. 바로 기존 환경을 옮겨야 하는 이유다. 답은 매우 명확하다. 프라이빗 클라우드 환경에서 CDP를 운영하면 워크로드 실행 환경을 매우 빠르게 생성할 수 있다. 따라서 새로운 유즈 케이스를 프로덕션 환경에 적용하는 속도가 높아진다. 다음으로 워크로드 단위로 격리된 환경을 제공할 수 있다. 샌드박스 시나리오를 따라야 하는 작업이나 리소스 경합이 심해 SLA 보장이 어려운 경우도 문제없이 독립된 실행 환경 제공이 가능하다. 이 외에도 작업 부하가 커질 때 자동 확장이 이루어져 매우 유연하게 워크로드를 관리할 수 있다. 이런 특징으로 인해 CDP Base 환경으로 기본 ETL, 애드혹, BI, 머신러닝, 데이터 수집 워크로드를 옮기면 데이터 플랫폼 운영의 민첩성과 효율성이 높아지는 효과를 거둘 수 있다. 참고로 CDP Base 상에서 운영되는 워크로드는 레드햇 오픈시프트를 통해 배포와 관리가 이루어진다. 
 
ⓒ Cloudera
 

CDP PC를 통한 하이브리드 멀티 클라우드 여정 시작 

퍼블릭 클라우드 환경에서 CDP를 이용하는 방법은 매우 간결하다. 인프라 준비도 필요 없고 소프트웨어 설치와 설정 그리고 운영도 신경 쓸 것이 없다. 운영자가 할 일은 클라우데라 컨트롤 플레인에 접속해 원하는 워크로드를 실행하는 것뿐이다. 이때 사용자는 워크로드 특성을 고려해 가상 머신이나 컨테이너에 배포할 수 있다. 더불어 사용자는 클라우데라 데이터 허브(Data Hub)에서 필요한 클러스터 템플릿을 선택할 수 있어 워크로드 실행 환경 구성도 매우 신속하게 할 수 있다. 또한, 어디에 배포하건 오토스케일링 기능 덕에 클라우드 비용을 최적화할 수 있다. 참고로 AI 워크로드의 경우 클라우데라 머신 러닝(Cloudera Machine Learning) 서비스를 써야 하는데, 평소 클라우데라 데이터 사이언스 워크벤치(Cloudera Data Science Workbench)를 사용하고 있다면 이질감 없이 친근한 인터페이스에서 모델 개발과 학습 작업을 할 수 있다. 
 
ⓒ Cloudera
 

로드맵 훑어보기 

클라우데라는 엔터프라이즈의 크고 작은 요구 사항을 점진적으로 반영해 나아가고 있다. 이를 공개한 로드맵에 잘 나타나 있는데, 먼저 예정된 CDP의 주요 개선 사항을 알아보자. 클라우데라는 올 6월을 목표로 배포 편의성 개선 사항을 공개할 계획이다. 현재 CDP 전용 오픈시프트 클러스터 구축이 필요하지만 클라우데라는 IBM과 함께 공용 오픈시프트 환경에도 CDP를 배포할 수 있도록 할 계획이다. 따라서 이미 오픈시프트 기반 엔터프라이즈 컨테이너 환경을 운영 중이라면 전용 클러스터 구축 노력 없이 바로 CDP를 배포할 수 있다. 더불어 올 3분기에는 CDP Base에 임베디드 클라우드 환경이 포함될 예정이다. 
 
ⓒ Cloudera

다음으로 카프카(Kafka)의 신기능으로 크루즈 컨트롤이 예정되어 있다. 이 기능을 적용하면 운영자 개입 없이 시스템이 이상 징후 및 변경 사항을 자동으로 감지해 필요한 조치를 한다. 따라서 대규모 카프카 클러스터 운영이 한결 수월해질 전망이다. 이외에도 지난해 2분기에 소개한 카프카 커넥터 지원 대상도 확대되는데, 올 3분기 이내에 오픈 소스 기반 변경 데이터 캡처 플랫폼인 Debezium를 위한 카프카 커넥터가 공개된다. 
 
ⓒ Cloudera

한편, 나이파이(Nifi) 플로우 디자이너도 큰 개선이 이루어진다. 우선 클러스터와 플로우 디자이너를 분리해 구성할 수 있게 된다. 더불어 스테이트풀(Stateful) 실행 환경만 가능하던 나이파이가 이제 스테이트리스(Stateless)도 지원한다. 따라서 안정성과 성능이 중요한 경우 스테이트풀을, 유연한 배포가 중요하면 스테이트리스를 선택할 수 있다. 
 
ⓒ Cloudera

많은 이들이 관심 있게 보는 머신 러닝 로드맵의 경우 MLOps 지원이 강화된다. 이를 위해 클라우데라는 UI 개선, 머신 러닝 파이프라인과 CDP 환경을 긴밀히 연계해 모니터링하는 기능도 추가된다. 또한, 모델 배포 관련 성능 문제 해결을 위해 오토스케일링 기능이 추가되고, 멀티 모델 배포도 지원된다. 기업이 요구하는 보안 충족을 위해 모델 접근 제어가 강화되고 모델과 피쳐 카탈로그를 아틀라스(Atlas)에서 통합 관리하는 것도 추가될 예정이다. 
 
ⓒ Cloudera
 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.