아마존이 새로운 오케스트레이션 엔진인 AWS 데이터 파이프라인(Data Pipeline)을 발표했다. 이로서 아마존 웹 서비스 사용자는 조만간 서로 다른 AWS 서비스와 내부 자원 간의 워크플로우를 매끄럽게 조정할 수 있는 새로운 서비스를 이용할 수 있을 것으로 보인다.
아마존의 CTO 워너 보겔스는 자사의 “Re:Invent” 클라우드 컨퍼런스에서 새로운 기술을 소개했다. 현재 이 서비스는 베타 프리뷰 상태로, 보겔스는 아직 구체적인 상용화 일정과 가격에 대해서는 밝히지 않았다.
아마존의 설명에 따르면 이 서비스는 “데이터 중심의 워크플로우와 내장 독립성 점검 기능을 이용해 어떤 규모의 데이터 이전과 처리도 자동화해 준다.”
아마존은 이 서비스로 대규모 데이터 세트를 파싱하는 과정을 자동화하기 위해 개발했다. 예를 들어, 파이프라인을 이용하면 AWS EC2 인스턴스로부터 AWS S3로 하루에 한 번 로그 데이터를 이전하고, 일주일에 한 번 해당 데이터에 대해 AWS 일랙스틱 맵리듀스 클러스터 상에서 분석을 진행하도록 하는 것이 가능해진다.
워크플로우 파이프라인을 설정하려면, 사용자는 일부 데이터 자원을 확인한 후, AWS가 해당 데이터에 대해 취해야 할 단계를 서술하면 된다. 사용자는 파이프라인의 실행 일정은 물론 처리된 데이터의 최종 목적지도 지정할 수 있으며, 서비스가 작업을 처리하기 전에 확인해야 하는 조건도 설정할 수 있다.
파이프라인은 EC2와 일랙스틱 맵리듀스 클러스터, 그리고 사용자의 자체 하드웨어 전체에 걸쳐 적용할 수 있으며, 설정은 AWS 관리 콘솔이나 직접 작성한 스크립트를 이용하면 된다.
파이프라인인 AWS에 적용된 첫번째 워크플로우 엔진은 아니다. 아마존은 지난 2월에도 아마존 심플 워크플로우(Amazon Simple Workflow)를 출시한 바 있는데, 이번에 발표한 데이터 파이프라인은 데이터 중심적인 작업을 실행하는 데 중점을 두고 있다. editor@itworld.co.kr