Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.

AWS의 데이터 및 퍼블릭 클라우드를 통한 디지털 혁신 실현

남영지 클라우데라코리아 이사 | Cloudera 2022.01.19
ⓒ Getty Images Bank

최근 엔터프라이즈 컴퓨팅 환경은 경계를 확장하는 시기를 맞이하고 있다. 이는 모든 영역에서 목격되는 현상이다. 데이터 플랫폼 역시 지금껏 경험하지 못한 수준의 확장이 이뤄지고 있다. 온프레미스, 프라이빗 클라우드, 퍼블릭 클라우드 그리고 최근 관심이 커지고 있는 엣지 컴퓨팅 환경까지 데이터가 있는 곳이라면 어디라도 서비스할 수 있는 쪽으로 확장되고 있다. 이런 변화를 가장 발 빠르게 반영하는 곳이 바로 클라우데라다. 
 

클라우데라 데이터 플랫폼 

클라우데라는 하이브리드와 멀티 클라우드를 하나의 환경에서 관리할 수 있도록 CDP(Cloudera Data Platform) 아키텍처의 핵심 요소로 SDX(Shared Data Experience)를 제공한다. 이를 통해 조직은 다양한 위치에서 보안과 거버넌스에 대한 일관성을 갖고 CDP를 기반으로 수 페타바이트 규모의 데이터 및 수천 사용자를 지원할 수 있다. 또한, 클라우드 아키텍처의 이점을 살려 필요할 때만 데이터 플랫폼을 시작하거나 확장해 비용을 절감할 수도 있다. 
 
ⓒ Cloudera
ⓒ Cloudera
 

AWS 환경에서 CDP 사용하기 

국내에서도 많은 조직이 사용하는 AWS를 통해 퍼블릭 클라우드 환경에서 CDP 기반 서비스를 제공하는 방법을 알아보자. 참고로 클라우데라는 AWS와 다년간 파트너십을 통해 데이터 측면에서 하이브리드 클라우드를 가속하는 방안을 제시해 왔다.

그 결과 CDP는 18개 이상의 AWS 서비스와 긴밀히 통합을 지원한다. 이에 따라 조직은 더 경제적이고 민첩한 방식으로 하이브리드 클라우드 환경에서 CDP를 이용할 수 있다. 가령 AWS에서 CDP를 이용할 경우 기업은 EKS(Elastic Kubernetes Service)를 기반으로 자동 확장, 일시 중지, 재시작을 자유롭게 할 수 있어 클라우드 비용을 효과적으로 제어할 수 있다. 

또한, EC2 스팟 인스턴스 요금을 활용할 경우 온디맨드 요금 대비 90%까지 비용을 절감할 수도 있다. 다양한 워크로드를 신속히 지원할 수 있는 이점도 크다. 조직은 AWS가 제공하는 기능을 활용해 신속하게 CDP 기반 분석, AI 워크로드를 배포해 운영할 수 있다. 필요에 따라 프라이빗 클라우드 환경에서 운영하던 워크로드를 퍼블릭 클라우드 환경으로 이동할 수도 있다. 어디서 운영하건 관리자는 단일 뷰를 통해 워크로드를 최적화하고, 데이터 리니지를 확인할 수 있다. 
 
ⓒ Cloudera
 

AWS 활용 시나리오 

기업이 AWS 같은 퍼블릭 클라우드로 데이터 플랫폼의 경계를 확장하는 이유는 무엇일까?

실제 클라우데라 고객 사례를 통해 알아보자. 먼저 데이터 민첩성 확보 사례를 소개한다. 아시아태평양 지역의 한 통신사는 AI 모델 구현과 훈련을 위해 퍼블릭 클라우드 활용을 검토했다. 훈련 단계에 필요한 GPU 자원을 확보하기 위해 오랜 시간과 높은 초기 비용을 들여 온프레미스 환경에 GPU 클러스터를 구축하는 대신, 퍼블릭 클라우드를 활용해 모델 구현 및 훈련 단계에 필요한 자원을 확보하고자 한 것이다. 훈련을 마친 후 프로덕션 환경에 배포할 때는 온프레미스에 구축한 인프라를 활용하는 것이 최종 목표였다. 

모델 구현과 훈련에 있어 가장 중요한 데이터를 어떻게 제공할 것인가? 이 질문에 대한 해답 역시 이 통신사는 AWS에서 찾았다. 온프레미스 환경에서 데이터 전처리를 마친 데이터를 AWS로 복제해 모델 훈련을 위해 사용하는 하이브리드 방식으로 접근한 이 통신사는 데이터 준비와 제공에 있어 경제성과 민첩성을 모두 확보하는 효과를 거뒀다. 물론 GPU 자원을 클라우드에서 신속히 확보한 덕에 로컬 머신에서 훈련을 거듭하며 최적화를 하는 것과 비교할 수 없는 시간상 이점도 누릴 수 있었다. 
 
ⓒ Cloudera

다음으로 소개할 고객 사례는 글로벌 소비자 신용 회사다. 이 조직은 200개 이상의 글로벌 데이터웨어하우스를 통해 고객 정보를 관리했다. 숫자가 적지 않다 보니 관리의 어려움이 커서 성능 및 확장성 보장이 쉽지 않았다.

이 회사는 데이터 관련 워크로드를 CDP로 마이그레이션하는 한편 비용 절감을 위해 온프레미스의 HDFS 환경에 있던 데이터를 S3로 이관했다. 그리고 멀티 테넌트 환경 관리를 간소화하기 위해 보안 계층을 SDX로 옮겨 메타 데이터 관리 및 보안 구성을 단일화했다. 이처럼 AWS와 클라우데라 서비스를 하이브리드 방식으로 구성한 덕에 데이터 플랫폼 운영 비용을 줄이는 가운데 조직이 추구하는 하이브리드 멀티 클라우드 전환 전략에 부합하는 성능, 보안, 거버넌스 체계를 바로 세울 수 있었다. 
 

CDP on AWS로의 여정에 초대 

하이브리드 멀티 클라우드 환경으로의 전환 속에서 기업은 안전하고 통제된 방식으로 여러 팀과 서비스가 데이터에 접근하고 공유하는 방법을 찾아야 한다. 데이터와 서비스 위치가 어디에 있건 통제 가능한 환경에서 분석, AI 등의 서비스를 제공할 수 있으려면, 결국 엔터프라이즈 데이터 플랫폼과 클라우드의 연결에서 답을 찾을 수밖에 없다.

앞서 소개한 바와 같이 기업은 클라우데라의 CDP와 AWS의 컨테이너, 첨단 분석, AI 등의 서비스를 적절히 활용하면 데이터와 워크로드의 이동성, 확장성, 경제성, 보안성 등을 보장하는 것이 한결 수월해진다. AWS 마켓플레이스에서 퍼블릭 클라우드용 클라우데라 데이터 플랫폼을 받아 사용해 보자. 클라우데라와 AWS가 오랜 기간 기술 통합을 위해 협력한 덕에 아주 간편하게 하이브리드 환경을 구축할 수 있음을 알 수 있을 것이다. 

 

스티비 월시, 클라우데라 아태 및 일본지역 클라우드 디렉터와의 인터뷰

Q : 클라우데라와 AWS는 어떤 방식으로 고객의 데이터 여정을 지원하나?
클라우드 채택은 여정이며 동일한 문제에 직면하는 고객은 없다. 클라우데라는 고객이 자신만의 고유한 여정을 전략화하고 계획하는 데 도움이 될뿐만 아니라 실행 과정의 핵심을 탐색하는 데 기여할 수 있는 신뢰할 수 있는 조언자를 점점 더 많이 필요로 하고 있다는 사실에 주목했다. 클라우데라는 AWS와의 파트너십을 통해 고객의 클라우드 및 데이터 여정을 지원한다. 

구체적으로 보자면 클라우데라는 AWS와 다년 간의 전략적 파트너십을 이어가며 기업이 데이터와 클라우드의 ‘동력’을 십분 활용할 수 있도록 돕고 있다. 클라우데라와 AWS는 다양한 산업의 다양한 기업에서 클라우드 채택 가속화, 비용 최적화, 최적의 경험 등을 지원하고자 하는 공동의 비전을 갖고 있다.  

비전만 공유하는 것이 아니다. CDP(Cloudera Data Platform)를 AWS에 접목한 통합 솔루션, 필드 콜라보레이션 및 AWS 마켓플레이스 가용성, 평가 및 마이그레이션 크레딧 등을 통해 이를 실현하고 있다. 이런 노력의 결과 고객은 워크로드 비용 및 성능 요구 사항에 맞게 조정되는 다수의 EC2 인스턴스를 포함해 속도, 보안, 유연성, 비용을 최적화하기 위해 18개 AWS 서비스에 심층적으로 통합시킨 CDP 기술을 접할 수 있다. 이를 통해 CDP 성능의 이점을 확장하고 S3 스토리지에 세분된 보안을 제공하며 Elastic Kubernetes Service를 통한 적응형 오토스케일링을 통해 큰 폭의 비용 절감 효과를 고객이 누릴 수 있다.   

또한, 고객은 엣지에서 인공지능(AI)으로 원활하게 이동할 수 있는 엔드 투 엔드 플랫폼을 구축할 수 있다. 클라우데라는 고객이 이를 쉽게 시작하고 통합해서 사용하며 빌링을 관리하고  기업을 확장하며 디지털 혁신 여정을 가속할 수 있도록 지원한다. 이를 위해 클라우데라는 조직 내 문제를 해결하고 현재와 미래의 목표를 지원하는 플랫폼을 제공한다. 

Q : AWS를 활용한 CDP 하이브리드 클라우드를 통해 기업이 얻을 수 있는 효과는 무엇인가?
CDP 하이브리드 클라우드는 고객이 AWS와 프라이빗 클라우드를 모두 활용해 성능, 확장성, 보안을 손상시키지 않으면서 어디에서나 ‘데이터 인 모션(data-in-motion)’과 ‘저장 데이터(data-at-rest)’에 대한 극강의 유연성을 누릴 수 있도록 돕는다. AWS 클라우드 환경에서 하이브리드 접근 방식의 주요 이점은 크게 세 가지다. 첫 번째는 워크로드 및 애플리케이션의 자유로운 이동이다. 기업은 프라이빗 클라우드와 AWS에서 동일한 분석 및 머신 러닝 서비스에 액세스하여 리팩토링 없이 워크로드 및 애플리케이션을 이동할 수 있다.

두 번째는 최신 아키텍처 활용이다. AWS와 프라이빗 클라우드 환경 모두 컴퓨팅과 스토리지, 민첩성 및 탄력성을 위한 컨테이너화된 데이터 서비스, 스케일 및 비용 효율성을 위한 객체 스토리지가 분리된 최신 클라우드 네이티브 데이터 아키텍처를 적용할 수 있다. 세 번째는 컴플라이언스 준수와 보안 강화다. 기업은 컴플라이언스 준수를 위해 프라이빗 클라우드와 AWS 모두에 거버넌스 프레임워크(SDX)를 적용할 수 있다. 

Q : 하이브리드 기반 엔터프라이즈 데이터 클라우드로 전환하는 과정 및 주요 유즈 케이스는 무엇인가? 
AWS와 클라우데라가 지향하는 퍼블릭 클라우드로 마이그레이션 하는 여정은 다음과 같다. 
 
ⓒ Cloudera

엔터프라이즈 데이터 클라우드의 일반적인 고객 사례는 크게 세 가지 범주로 나누어 볼 수 있다. 첫 번째는 보안이다. 리스크 모델링 및 분석, 컴플라이언스, 금융 범죄 예방을 통한 리스크 관리, 사기 탐지 및 사이버 보안 이니셔티브를 포함한 보안 요구 사항을 충족하기 위해 하이브리드 기반 엔터프라이즈 데이터 클라우드 전환에 나선 곳이 많다.

두 번째는 연결이다. 기업과 기업의 고객 및 파트너 관계에 대한 보다 완전한 이해를 위해 다양한 데이터 소스를 연결하기 위해 마이그레이션에 나서는 조직도 적지 않다. 가령 물류 및 공급망의 경우 예측 유지관리, 커넥티드 카 및 차량 관리 등이 포함될 수 있다. 의료 및 산업용 IoT 관리 분야에서는 고객 이탈을 줄이기 위해서 고객을 더 깊이 이해하기 위해 다양한 데이터 소스를 활용하여 맞춤화 마케팅을 진행하는 것을 예로 들 수 있다.

세 번째는 성장이다. 유연성과 제어를 통해 고객은 비용을 관리하고 작업을 오토스케일, 중지, 재개할 수 있다. 이런 특징으로 하이브리드 기반 엔터프라이즈 데이터 클라우드로 전환한 기업들의 성과를 보면 생산성이 향상되고 총 소유 비용이 낮아지며 ROI가 증가하는 추이를 볼 수 있다. 이 밖에도 워크로드를 최적화하고 분석 및 머신 러닝을 통해 거버넌스와 컴플라이언스가 강화되는 것도 확인할 수 있다.

Q : 클라우데라와 AWS의 기술과 서비스를 활용해 시너지를 낸 사례를 하나 소개한다면?  
회사와 고객의 위험을 완화하기 위해 사기 탐지 프로그램을 운용하는 한 호주 금융 기술 회사의 경우, 모든 데이터를 단일 창에 보는 것이 매우 중요했다. 하지만 증가하는 데이터 클러스터 및 수요를 고려할 때 기존에 사용하던 인하우스 툴만으로는 데이터 워크로드를 관리하기에 부족함이 있었다. 이 회사는 AWS에서 CDP 퍼블릭 클라우드 플랫폼을 활용해 대량의 데이터를 실시간으로 처리하고 리포팅을 위해 거래에 대한 분석적 인사이트를 도출했다. 이를 통해 고객은 이슈 및 불규칙성을 감지하고 사기 거래를 사전에 방지할 수 있었다.
 Tags 클라우데라 데이터플랫폼 CDP AWS환경 데이터웨어하우스

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.