오픈소스 / 클라우드

클라우데라, 데이터 플랫폼에 아파치 아이스버그 공식 지원

편집부 | ITWorld 2022.08.02
클라우데라는 아파치 아이스버그(Apache Iceberg)를 클라우데라 데이터 플랫폼(CDP)에서 공식 출시했다고 발표했다.

아이스버그는 아파치 소프트웨어 재단(ASF)에서 개발된 100% 개방형 테이블 포맷으로, 사용자가 공급업체에 종속되지 않는 장점이 있다. 공식 버전은 클라우데라 데이터 플랫폼(CDP)의 주요 데이터 서비스인 클라우데라 데이터 웨어하우스(CDW), 클라우데라 데이터 엔지니어링(CDE), 클라우데라 머신 러닝(CML) 등에서 사용할 수 있다.
 
ⓒ 클라우데라

이 서비스로 애널리스트와 데이터 사이언티스트는 자유롭게 분석 엔진과 도구를 선택해 같은 데이터 상에서 쉽게 협업하는 것이 가능해졌다. 또한 기업은 별다른 사전 작업이나 공급업체 종속, 불필요한 데이터 변환, 그리고 클라우드와 도구 간의 데이터 이동 없이 아이스버그로 데이터에서 인사이트를 도출할 수 있다.

CDP는 개방형 데이터 레이크하우스를 제공하는 첫 하이브리드 데이터 플랫폼으로서 여러 클라우드와 온프레미스에서 클라우드 네이티브 개체 저장소의 스트리밍과 저장된 데이터에 대한 페타바이트 규모의 다기능 분석을 제공한다. 이를 통해 사용자는 선호하는 분석 도구를 자유롭게 선택할 수 있다.

개방형 데이터 레이크하우스를 도입한 기업은 데이터 스케일링에 대한 걱정 없이 온프레미스나 퍼블릭 클라우드 간의 애플리케이션 상호운용성과 휴대성을 확보할 수 있다. 또한 기업은 CDP에 기본 내장된 SDX(Shared Data Experience)를 통해 모든 자사 데이터 상에서 공통 메타데이터와 보안, 그리고 거버넌스 모델을 활용할 수 있다.

아파치 아이스버그는 단일 명령으로 스키마와 파티션 변경을 포괄하는 인플레이스 테이블 에볼루션을 지원한다. 포렌식 가시성과 규정 준수 기능을 위해 특정 시점 쿼리를 활용하는 시점 이동도 지원된다. 또한 엣지에서 AI에 이르는 종단 간 데이터 라이프사이클 요구사항을 제공하는 동시 다기능 분석 기능도 제공된다. 

클라우데라는 고객이 아이스버그를 쉽게 사용하고 개방형 테이블 포맷의 생산성과 성능을 모두 누릴 수 있도록 아이스버그를 CDP의 SDX 레이어로 바로 통합했다. 고객은 기본 대용량 데이터 세트를 건들이지 않고 메타데이터만으로 한 번의 명령으로 마이그레이션을 진행할 수 있게 됐다.

이 외로도 클라우데라 고객은 기본 데이터를 다시 생성하거나 수정할 필요도 없이 CDP를 통해 파티션 에볼루션 기능을 활용하고 세밀한 데이터 파티션을 사용해 쿼리 성능을 10배 이상으로 증가시킬 수 있다.

클라우데라코리아 임재범 지사장은 “아파치 아이스버그를 통합해 CDP의 성능을 크게 끌어올려 데이터 레이크하우스를 뛰어넘었다”며, “클라우데라는 하이브리드와 멀티 클라우드를 가리지 않고 어디서나 모든 데이터를 처리하며, 데이터가 생성되고 저장되며 사용되는 모든 곳에서 고객을 지원한다”고 말했다. 
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.