데이터ㆍ분석

“이 없으면 잇몸” 하둡 인력 채용 어려우면 전문 협력사로

John Moore | CIO 2012.07.30
대기업들의 하둡 수요가 관련 IT인력 채용을 앞지르고 있다. 이러한 격차를 메우기 위해 많은 기업들이 하둡 컨설팅, 소프트웨어 개발, 서비스 교육을 모두 제공할 수 있는 협력사를 찾는 방향으로 선회하고 있다.
 
기업들의 하둡 도입이 급증하고 있지만, 이를 구축하고 유지보수할 수 있는 IT인력들을 제대로 확보하지 못하고 있다. 지난 5월 IDC는 전체 하둡 소프트웨어 시장이 연평균 60% 이상 증가해 2011년 7,700만 달러에서 2016년 8억 1,280만 달러로 성장할 것으로 전망했다.
 
아파치 재단의 하둡 분산형 컴퓨팅 기술은 초기에 검색 엔진에서 사용됐다. 야후가 지난 2008년 최대 규모의 하둡 생산 애플리케이션을 천명하면서 해당 소프트웨어에 이목이 집중됐다. 이 오픈소스 소프트웨어는 그 이후로 얼리 어답터를 넘어 널리 확산됐다. 클라우데라(Cloudera)는 2009년에 자사의 하둡 배포판을 공개했으며 호튼웍스(Hortonworks) 와 맵알 테크놀로지스(MapR Technologies) 등이 그 뒤를 이었다.
 
하둡이 출판부터 농업에 이르기까지 광범위한 산업 분야로 진출하면서 IT 부서들은 하둡 역량의 공백을 메우기 위해 하둡 구축 업체 및 전문 컨설팅 기업을 찾고 있다. CIO와 IT 관리자들은 프로젝트를 시작하고, 코드를 작성하며 하둡의 생태계를 전반적으로 살피기 위해 외부의 도움을 구하고 있다. 또한 IT부서들은 자체 하둡 인력의 양성을 꾀하기 위해 교육을 위한 채널 파트너(Channel Partner)를 활용하고 있다.
 
기업들은 하둡 전문가를 고용할 때 인력 보충 및 교육에 대해서 선택권을 행사할 수 있다.
 
셔터플라이(Shutterfly)의 CIO 지오프리 웨버는 "간단히 말해 하둡 인력 공급이 부족하다"는 말로 하둡 전문가의 부족 현상을 설명했다. "현실적으로 말해서, 우리 같은 기업이 이 시장에 진입하여 하둡 전문가를 찾는 것을 실질적으로 불가능하다고 생각한다."
 
인터넷 기반의 개인용 출판 서비스를 제공하고 있는 셔터플라이의 2011년 배출은 4억 7,300만 달러 이상으로 소기업이라고 하긴 어렵지만, 하둡 전문가의 제한적인 공급 상황에서 페이스북과 링크드인 등의 소셜 미디어 거대 기업들과 경쟁하고 있다.
 
"야후 출신의 하둡 전문가는 특별한 기술과 경험을 보유하고 있다. 이는 자신이 원하는 일자리와 연봉을 자신 있게 말할 수 있다는 뜻이다"라고 웨버는 말한다. "이런 사람을 찾기란 쉽지 않다."
 
대규모 프로젝트에서 하둡 인력 수급에 ‘빨간불’
하둡은 전통적인 데이터베이스 기술을 이용해 관리하고 분석하기에 규모가 너무 크고 복잡한 데이터 세트를 주요 대상으로 삼고 있다. 하둡은 복수의 컴퓨팅 노드에서 빅 데이터 처리 작업을 분산하여 처리한다.
 
하둡 소프트웨어는 빅 데이터 기술로써 NoSQL 데이터베이스와 함께 그룹화되는 경향이 있다. 하둡의 핵심 구성요소는 하둡 클러스터에서 처리 작업을 배분하는 맵리듀스(MapReduce)와 하둡 분산형 파일 시스템(Hadoop Distributed File System)으로 구성돼 있다. 일부 상용 소프트웨어뿐만이 아니라 다수의 오픈소스 프로젝트들이 하둡 생태계를 성장시키고 있다.
 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.