Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
데이터ㆍ분석 / 클라우드

아마존, 새로운 워크플로우 서비스 “데이터 파이프라인” 발표

Joab Jackson | IDG News Service 2012.11.30
아마존이 새로운 오케스트레이션 엔진인 AWS 데이터 파이프라인(Data Pipeline)을 발표했다. 이로서 아마존 웹 서비스 사용자는 조만간 서로 다른 AWS 서비스와 내부 자원 간의 워크플로우를 매끄럽게 조정할 수 있는 새로운 서비스를 이용할 수 있을 것으로 보인다. 
 
아마존의 CTO 워너 보겔스는 자사의 “Re:Invent” 클라우드 컨퍼런스에서 새로운 기술을 소개했다. 현재 이 서비스는 베타 프리뷰 상태로, 보겔스는 아직 구체적인 상용화 일정과 가격에 대해서는 밝히지 않았다.
 
아마존의 설명에 따르면 이 서비스는 “데이터 중심의 워크플로우와 내장 독립성 점검 기능을 이용해 어떤 규모의 데이터 이전과 처리도 자동화해 준다.”
 
아마존은 이 서비스로 대규모 데이터 세트를 파싱하는 과정을 자동화하기 위해 개발했다. 예를 들어, 파이프라인을 이용하면 AWS EC2 인스턴스로부터 AWS S3로 하루에 한 번 로그 데이터를 이전하고, 일주일에 한 번 해당 데이터에 대해 AWS 일랙스틱 맵리듀스 클러스터 상에서 분석을 진행하도록 하는 것이 가능해진다.
 
워크플로우 파이프라인을 설정하려면, 사용자는 일부 데이터 자원을 확인한 후, AWS가 해당 데이터에 대해 취해야 할 단계를 서술하면 된다. 사용자는 파이프라인의 실행 일정은 물론 처리된 데이터의 최종 목적지도 지정할 수 있으며, 서비스가 작업을 처리하기 전에 확인해야 하는 조건도 설정할 수 있다.
 
파이프라인은 EC2와 일랙스틱 맵리듀스 클러스터, 그리고 사용자의 자체 하드웨어 전체에 걸쳐 적용할 수 있으며, 설정은 AWS 관리 콘솔이나 직접 작성한 스크립트를 이용하면 된다.
 
파이프라인인 AWS에 적용된 첫번째 워크플로우 엔진은 아니다. 아마존은 지난 2월에도 아마존 심플 워크플로우(Amazon Simple Workflow)를 출시한 바 있는데, 이번에 발표한 데이터 파이프라인은 데이터 중심적인 작업을 실행하는 데 중점을 두고 있다.  editor@itworld.co.kr
 Tags 워크플로우 빅데이터 아마존 클라우드 컨퍼런스 Re:Invent
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.