데이터ㆍ분석 / 애플리케이션

하둡의 성장, 데이터 마이그레이션 툴 시장 열다

Serdar Yegulalp | InfoWorld 2014.10.28
좀더 많은 기업들이 하둡을 받아들임으로써 이들은 하둡 플랫폼으로 자사의 데이터를 모으는데 도움이 필요해졌으며, 이로 인해 새로운 시장이 열렸다.

지난 몇 년동안 하둡의 폭발적 증가는 놀랄만한 현상이었다. 하둡은 60%에 가까운 연평균 성장률을 기록해 2020년에는 500억 달러 시장 규모를 형성할 것으로 예상된다.

이렇게 엄청난 성장세에 힘입어 하둡 데이터 마이그레이션 툴과 서비스를 판매하는 하둡 개발업체들도 가파른 상승세를 타고 있다.

이론상으로, 하둡 안팎에 있는 데이터 수집은 소프트웨어와 자체 사용자의 역량에 달려있다. 그래서 평소 MySQL, 오라클, 포스트그레SQL(PostgreSQL), HSQLDB와 같은 데이터베이스를 지원하던 이들을 위해 아파치의 스쿱(Sqoop) 프로젝트가 만들어졌다.

아파치 스쿱 프로젝트는 RDBMS와 아파치 하둡 간 대용량 데이터들을 효율적으로 변환해주는 애플리케이션이다. 스쿱은 맵리듀스를 통해 데이터의 가져오기와 내보내기를 처리해 장애 허용 능력뿐만 아니라 병렬 처리가 가능케 한다.

그러나 모든 이들이 자체적으로 이 업무를 다할 수는 없기 때문에 개발업체들은 직접 작업하는 것보다 훨씬 수고가 적은 데이터 가져오기와 내보내기 방법을 제안하고 있다.

데이터 마이그레이션 솔루션 업체들이 사전에 만들어놓은 플랫폼은 자연스러운 것이다. 예를 들어 정보관리 서비스업체인 어튜니티(Attunity)는 하둡보다는 오라클, SQL 서버, DB2, 테라데이타와 같은 다른 수많은 데이터 소스와 대상을 다루고 있다.

특히 데이터 복제 애플리케이션인 어튜니티 리플리케이트(Attunity Replicate)는 광범위한 네트워크 상에서 테라바이트 급 마이그레이션 작업의 최적화를 제공한다.

동일 선상에서 다이요타 데이터무버(Diyotta DataMover) 또한 대규모의 데이터 형식과 저장소들을 하둡으로의 마이그레이션을 지원한다.

특히 싱크소트(Syncsort)의 경우, 메인프레임이 클라우데라와 함께 결합할 수 있도록 지원하는데, 이를 통해 메인프레임에 존재하는 데이터를 직접 수집해 하둡으로 로드할 수 있다.

상크소트 CEO 로나 재피는 "비용이 많이 드는 작업을 버튼 하나로 끝낼 수 있다"고 설명했다.

이들 제안이 매력적인 것은 지원되는 데이터 소스의 개수가 아니라 편의성과 경험에 있다. 호튼웍스(Hortonworks)와 같은 하둡 개발업체들은 자체 지원과 마이그레이션 서비스를 제공함으로써 이 마이그레이션 전문업체들과 경쟁한다.

이것이 하둡 개발업체들이 서드파티 제품들을 완전히 대체할 수 있는 스쿱(Sqoop) 프로젝트에 많은 투자를 하지 않는 이유일 수 있다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.