데이터ㆍ분석 / 보안 / 애플리케이션

글로벌 칼럼 | 2014년은 빅데이터의 해가 될 것이다

Andrew C. Oliver | ITWorld 2013.11.11
2012년이 세상의 종말이었고, 2013년에 프라이버시의 종말이 왔다면, 의문의 여지 없이 2014년은 데이터가 지배하는 한 해가 될 것이다.

하버드 비즈니스 리뷰는 9월호 전체를 빅데이터에 할애하며, 그 가운데서도 정확히 하둡(Hadoop)에 집중했다. 데이터 과학자들은 미래의 직업으로 부각됐으며, 전문가들은 어떻게 빅데이터 기술을 기업에 도입할 수 있을 지에 대한 조언을 쏟아냈다.

필자는 창업해 수백만 달러 규모로 성장시킨 경험이 있는데, 하버드 비즈니스 리뷰를 종종 읽는다. 필자는 경영 학위가 없다. 일생에 걸친 오랜 강박적인 독서 장애의 결과 다른 사람의 행동을 보고 학습해왔다(필자는 독서 장애의 원인이 이른 나이에 찾아온 노안 때문이라고 생각한다).

하버드 비즈니스 리뷰에서 미래의 기술을 다루는 일이 많지 않은데, 하둡과 같은 비교적 새로운 오픈소스 프로젝트에 대해 읽게 되는 일은 흔치 않다.

가트너에 의하면 빅데이터는 340억 달러를 2013년 IT 지출에서 유발할 것으로 예상했으며, 일부는 그 수치가 2018년까지 그 세 배를 넘어설 것으로 예측했다.

올해 놀랍게도 NSA가 이미 오랫동안 빅데이터 기술의 주요 사용자였다는 사실을 알게 되었다. 미국 정부는 건강 보험을 구입할 수 있는 웹사이트의 운영은 아직 준비가 부족할지 몰라도, 거대한 국내 감시 네트워크 구축은 이미 완료한 것이다.

또한 10gen이 몽고DB(MongoDB)로 이름을 바꾸고 12억 달러의 가치를 인정받아 10억 달러 마지노선을 돌파했는데, 이는 앞으로 이 업체가 인수 합병이 아닌 기업 공개를 선택할 가능성이 높아졌음을 의미한다.

빅데이터 영역에는 풍부한 자금이 돌고 있다. 호튼웍스(Hortonworks)에는 5,000만 달러, 데이터스택스(DataStax)에는 4,500만 달러, 카우치베이스(Counchbase)에는 2,500만 달러가 유입됐다.

지난 몇 년간 우리는 페이스북(Facebook), 야후(Yahoo), 트위터(Twitter), 링크드인(LinkedIn)과 같은 거대 업체들이 예측하지 못했던 데이터와 사용량 폭증 문제 때문에 '필요'에 의해 기술이 개발되고 배치되는 모습을 보아왔다.

이런 업체들이 엄청난 데이터와 일부 국가보다도 더 많은 데이터 사용량을 보유하고 있지만, 이 데이터들이 중요도가 떨어지거나 유행성이라는 평가가 많아, 주류 비즈니스계의 역할 모델은 되지 못했다.

하지만 지금까지와 달리 보수적인 고객들이 몽고DB를 비롯한 NoSQL 기술을 채택하기 시작하고 있다. '로그 분석'은 하둡의 킬러 앱이자 올해의 파일럿 프로젝트로 대두됐고, 솔루션만이 아닌 정확한 쿼리 개발에 대해서도 상당한 처리량이 목격되고 있다.

이런 현상은 전 세계적으로 일어나고 있다. 필자는 대규모 데이터 프로젝트에서 처리량을 향상시키기 위해 키-값 스토어가 배치되는 브라질에서 이 글을 썼다.

빅데이터 솔루션은 소셜미디어와 엔터테인먼트 업계의 문제를 해결하기 위해 등장하기 시작했을지 몰라도, 교육, 의료, 금융까지 계속 퍼져가고 있다.

필자가 지난해에 걸쳐 목격했던 이런 모멘텀은 숨이 막힐 지경이다. 2014년 더욱 보수적인 IT 부서들마저 그들의 지역 오라클(Oracle) 판매 대표들과 몇몇 아주 불편한 대화를 하는 모습이 눈에 선하다. 그 판매 대표가 이미 퇴사해 빅데이터 개발업체로 이직하지 않았다면 말이다. editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.