가치와 속도에 중점 둔 글로벌 클라우드 3사의 데이터 복제 기술

GTPlus | GTPlus 2022.02.10
ⓒ GTPlus

최근 기업은 의사결정에 필요한 전체적인 그림 확보를 위한 민첩성과 탄력성을 높이고자 조직의 데이터를 클라우드 데이터 레이크 및 데이터 웨어하우스로 이동시키고 있다. 그 과정에서 기존의 데이터 통합 솔루션은 수동적이고 복잡한 프로세스로 인해 효율성이 떨어지며, 진행한다 하더라도 정작 데이터를 적용해야 하는 비즈니스 단계에 적합한 데이터가 아닌 경우가 발생한다. 따라서 이런 기존 솔루션의 한계를 보완한 모던 CDC 솔루션(Change Data Capture)이 주목받고 있다. 

대표적인 모던 CDC 솔루션인 ‘클릭 리플리케이트(Qlik Replicate)’는 효율적인 데이터 전송 및 자동화된 데이터 변환 생성을 통해 소스 시스템 데이터 스트림 생성부터 분석 준비 데이터 세트 생성에 이르기까지 데이터 파이프라인을 가속화하는 솔루션으로 기존 데이터 통합 솔루션의 문제를 해결한다. 
 

전 세계 수백 개의 기업이 사용하는 ‘클릭 리플리케이트(Qlik Replicate)’

클릭 리플리케이트의 특징을 알아보면, 시스템의 중지 없이 데이터를 복제해 클라우드로 이동해(zero-time) 클라우드 환경의 데이터에서 보다 쉽고, 안전하며, 효율적으로 가치를 얻어낼 수 있게 지원한다. 

또한, 소스에서 대상으로 실시간으로 데이터를 이동하며, 모든 데이터는 엔드 투 엔드 복제를 완전히 자동화하는 간단한 그래픽 인터페이스를 통해 관리된다. 데이터 엔지니어는 간소화되고 에이전트가 없는 구성을 통해, 선도적인 변경 데이터 캡처(CDC) 기술을 기반으로, 데이터 파이프라인을 쉽게 설정, 제어 및 모니터링할 수 있다. 

아래 화면과 같이 수동으로 정보를 입력할 필요 없이 필터, 단일 테이블/뷰에 대한 변환 정의 및 전역 변환을 정의하는 GUI 대화 상자를 제공하는 Expression Builder 기능을 통해 규칙을 쉽게 작성할 수 있는 특징을 가진다. 
 
ⓒ GTPlus
 

클라우드별 베스트 프랙티스 제공, 어떤 클라우드 선택해도 지원 가능 

클릭(Qlik)은 대표적인 클라우드 3개사 (Amazon Web Services(AWS), Microsoft Azure, Google Cloud Platform)의 기술 파트너로 모든 주요 데이터베이스, 데이터 웨어하우스에서 데이터 복제, 수집 및 스트리밍을 가속화하는 데 도움이 되는 솔루션을 제공한다. 따라서 사용자가 어떤 클라우드를 선택하든 지원할 수 있도록 Amazon Redshift, Azure Synapse, Google Big Query 및 Snowflake에 대한 베스트 프랙틱스를 제공하고 있다. 

이러한 클릭의 기술력을 기반으로 클릭 리플리케이트는 다양한 원천 데이터 소스에서 AWS의 S3, Azure의 ADLS 및 GCP의 GCS로 실시간으로 데이터를 복제할 수 있으며, AWS의 RedShift 또는 EMR, Azure의 SQL데이터 웨어하우스 또는 HDInsight와 같은 다양한 특수 분석 환경에서 직접 변경된 데이터를 로드할 수 있다.

 
ⓒ GTPlus

클라우드 환경에서의 데이터 복제에 대한 더 자세한 정보가 필요하다면 2월 10일부터 4회에 걸쳐 진행되는 ‘케이스로 알아보는 모던 CDC 세미나’ 참석을 추천한다. 온라인으로 진행되는 이번 세미나는 ‘데이터 복제 사용 케이스’를 중심으로 소스 설정과 타깃 정의 등 데이터 전문가가 궁금해할 실전 정보를 다뤄 복잡한 데이터 환경에서 스크립팅하는 데이터 관리자(DBA)들에게 매우 유용할 것이다. 지티플러스 블로그에서 행사 참여 신청을 할 수 있다.

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.