데이터ㆍ분석 / 클라우드

아마존, 새로운 워크플로우 서비스 “데이터 파이프라인” 발표

Joab Jackson | IDG News Service 2012.11.30
아마존이 새로운 오케스트레이션 엔진인 AWS 데이터 파이프라인(Data Pipeline)을 발표했다. 이로서 아마존 웹 서비스 사용자는 조만간 서로 다른 AWS 서비스와 내부 자원 간의 워크플로우를 매끄럽게 조정할 수 있는 새로운 서비스를 이용할 수 있을 것으로 보인다. 
 
아마존의 CTO 워너 보겔스는 자사의 “Re:Invent” 클라우드 컨퍼런스에서 새로운 기술을 소개했다. 현재 이 서비스는 베타 프리뷰 상태로, 보겔스는 아직 구체적인 상용화 일정과 가격에 대해서는 밝히지 않았다.
 
아마존의 설명에 따르면 이 서비스는 “데이터 중심의 워크플로우와 내장 독립성 점검 기능을 이용해 어떤 규모의 데이터 이전과 처리도 자동화해 준다.”
 
아마존은 이 서비스로 대규모 데이터 세트를 파싱하는 과정을 자동화하기 위해 개발했다. 예를 들어, 파이프라인을 이용하면 AWS EC2 인스턴스로부터 AWS S3로 하루에 한 번 로그 데이터를 이전하고, 일주일에 한 번 해당 데이터에 대해 AWS 일랙스틱 맵리듀스 클러스터 상에서 분석을 진행하도록 하는 것이 가능해진다.
 
워크플로우 파이프라인을 설정하려면, 사용자는 일부 데이터 자원을 확인한 후, AWS가 해당 데이터에 대해 취해야 할 단계를 서술하면 된다. 사용자는 파이프라인의 실행 일정은 물론 처리된 데이터의 최종 목적지도 지정할 수 있으며, 서비스가 작업을 처리하기 전에 확인해야 하는 조건도 설정할 수 있다.
 
파이프라인은 EC2와 일랙스틱 맵리듀스 클러스터, 그리고 사용자의 자체 하드웨어 전체에 걸쳐 적용할 수 있으며, 설정은 AWS 관리 콘솔이나 직접 작성한 스크립트를 이용하면 된다.
 
파이프라인인 AWS에 적용된 첫번째 워크플로우 엔진은 아니다. 아마존은 지난 2월에도 아마존 심플 워크플로우(Amazon Simple Workflow)를 출시한 바 있는데, 이번에 발표한 데이터 파이프라인은 데이터 중심적인 작업을 실행하는 데 중점을 두고 있다.  editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.