데이터ㆍ분석 / 애플리케이션

빅 데이터 고공행진, 하둡 전문가 '귀하신 몸'

Jaikumar Vijayan | Computerworld 2011.11.11
하둡 및 관련 기술에 대한 업계의 관심이 고조되고 있는 가운데, 전문 인력에 대한 수요가 공급을 넘어서고 있는 것으로 평가됐다.
 
이번 주 뉴욕에서 열린 하둡 월드 컨퍼런스에 참가한 애널리스트 및 전문가들은 전문 인력 확보가 기업들에게 주요 과제가 되고 있다고 지적했다. 또 적절한 역량을 갖춘 인재의 경우 그 몸값이 상승하고 있다고 전했다.
 
전문 인력의 부족 현상을 나타내는 한 지표가 있다. JP 모건과 이베이의 IT 임원들이 이번 컨퍼런스 현장에서 키노트를 통해 구인 의사를 밝혔던 것이다.
 
이베이의 사용자 경험, 검색, 플랫폼 부문 부사장 휴 파인스미스는 키노트에서 하둡 전문가를 물색하고 있다고 말하면서 관심을 보이는 이들을 초대하기도 했다.
 
JP 모건 체이스의 매니지 디렉터 래리 파인스미스도 키노트에서 인력 영입 의사를 밝히면서, 이베이보다 10% 높은 연봉을 지급하겠다는 농담을 남기기도 했다.
 
포레스터 리서치의 제임스 쾨빌리우스 애널리스트는 "이제는 하둡이 새로운 데이터 웨어하우스다. 기업 내 데이터의 신규 출처다"라면서 "하둡에 대해 잘 알고 기업이 이를 활용할 수 있도록 일조할 수 있는 인력에 대해 프리미엄이 있는 상태"라고 말했다.
 
하둡은 구조화 또는 비구조화된 방대한 양의 데이터를 기업들이 저장하고 관리할 수 있게 해준다. 이에 따라 수 페타바이트에 이르는 웹로그, 클릭 스트림, 소셜 미디어 콘텐츠 등을 저장하고 분석하는데 하둡을 이용하는 기업들이 증가하고 있다. 이를 통해 고객과 비즈니스 모델에 대한 통찰을 얻을 수 있을 것이라는 기대에서다.
 
쾨빌리우스는 이에 따라 전문 인력에 대한 수요가 증가하고 있다면서, 여기에는 다변수 통계 및 분석, 데이터 마이닝, 예측 모델링, 자연 언어 처리, 콘텐츠 분석, 텍스트 분석, 소셜 네트워크 분석 경험자 등이 포함된다고 말했다.
 
그는 "협소하게는 하둡 전문가, 광범위하게는 빅 데이터 전문가에 대한 수요가 늘고 있다. 맵리듀스나 'R for predictive', 통계학적 모델링과 같은 새로운 접근법을 통해 향상된 애널리틱스를 수행할 수 있는 인력에 대한 수요다"라고 말했다.
 
그는 이어 하둡 플랫폼 관리 전문가에 대한 수요도 증가하고 있다고 덧붙였다. 하둡 클러스터를 도입하고 보안과 관리, 최적화를 수행할 수 있는 인력을 의미한다.
 
그는 "테라데이타나 오라클의 엑사데이터를 관리해온 데이터 베이스 관리자들이 이제 자신의 역할을 하둡 클러스터 관리자로 재정의하고 있기도 하다"라고 말했다.
 
쾨빌리우스에 따르면 이들은 하둡에 대해 새롭게 인식하고 있으며 하둡 환경을 기존의 관계형 데이터베이스 기술과 통합할 수 있는 인력이 필요할 것임을 예측하고 있다.
 
카르마스피어의 CEO 마틴 할은 하둡 전문가에 대한 수요는 크게 3가지 범주로 구분된다. 우선 데이터 분석가나 데이터 과학자가 있다. 다음으로는 데이터 엔지니어다. 마지막으로 IT 데이터 관리 전문가가 있다.
 
할은 데이터 관리 전문가는 하둡 클러스터를 선택, 설치, 관리, 배치, 측정하는 역할을 한다고 덧붙였다.
 
하둡 데이터 엔지니어는 반면 데이터 프로세싱 업무를 창안하고 맵리듀스 알고리즘을 데이터 애널리스트들이 사용할 수 있도록 배포하는 책임을 지는 이들이라고 그는 설명했다. 자바나 C++ 관련 기술을 가진 이들이 이와 관련한 기회를 포착할 수 있을 것으로 관측됐다. ciokr@idg.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.