BI|분석 / 데이터ㆍ분석 / 미래기술 / 애플리케이션

토픽브리핑 | 2015년 빅데이터 현황과 2016년 전망

이대영 기자 | ITWorld 2015.12.11
전세계적으로 빅데이터는 2014년 거품 제거기간인 각성의 단계(trough of disillusionment)에 접어들었다. 빅데이터는 2015년 가트너 신기술 하이프사이클에서 사라졌다. 대신, 빅데이터 활성화 요소인 머신 러닝(Machine Learning), 직접 시행하는 고급 분석(advanced analytics with self service delivery), 시민 데이터 과학(Citizen Data Science) 등이 새롭게 등장했다.


자료 : gartner

빅데이터는 이제 신기술 범주를 벗어나 디지털 혁신(Digital Innovation), 디지털 변혁(Digital Transformation)이라는 커다란 흐름을 만들어가는 핵심 동력으로 자리잡았음을 의미한다.

올해 신기술 하이프 사이클에 처음 등장한 머신러닝과 직접 시행하는 고급 분석은 이미 정점에 들어섰다. 머신러닝은 방대한 데이터를 분석해 미래를 예측하는 기술로 빅데이터 분석 기술에서 한 단계 더 나아간 기술이다. 머신러닝이 빅데이터 분석 기술의 컴퓨팅 역량을 끌어올리는 것이라면 직접 시행하는 고급 분석과 시민 데이터 과학은 빅데이터 사용자들을 일부 전문가급에서 업무 담당자 층으로 확대하는 역할을 한다.

한 마디로 빅데이터 기술의 업그레이드와 사용자 저변 확대가 동시에 진행되고 있는 것이다.

가트너, 2015년도 ‘신기술 하이프 사이클’ 보고서 발표
빅데이터 자체가 아니라 '빅데이터 활용’이 중요하다...가트너

피터 손더가드 가트너 수석 부사장 겸 리서치 부분 글로벌 총괄은 가트너 심포지움/ITxpo(Gartner Symposium/ITxpo)에서 "데이터는 그 자체만으로는 전혀 의미가 없고, 데이터를 사용하는 방법과 이를 토대로 실행하는 방법을 알지 못한다면 실제로 아무 것도 할 수 없다"고 말했다.

기업들은 자신들이 수집한 데이터를 실제로 어떻게 활용할 지에 대해서는 제대로 파악하지 못하고 있었다. PwC와 아이언 마운틴이 조사한 보고서에 따르면 효과적으로 데이터를 관리하는 기업은 극히 일부에 불과했다.

PwC 리스크 담당 책임자 리처드 페틀리는 "데이터는 디지털 경제의 혈액이다. 데이터는 통찰을 주고 결정을 돕고 관계를 강화할 수 있다"고 말했다. "데이터는 살 수도, 팔 수도, 공유하고 심지어 도난당할 수 있다. 이 모든 상황은 데이터에 가치 있음을 시사한다. 그러나 이번 조사에서는 극소수의 조직만이 그 가치를 활용할 수 있었고, 대다수의 조직들은 그 가치를 관리, 보호, 추출할 능력조차 없었다"고 지적했다.

북미와 유럽에서 250명 이상의 직원들 둔 중견기업과 2,500명 이상의 직원을 둔 대기업 등 1,800여 곳을 대상으로 조사한 결과, 규모, 위치, 업종을 망라하고 전체 응답 기업들의 현업 임원 75%는 자신들이 '정보 자산을 최대한 활용'하는 것으로 생각하지만, 실제로 그 성공률은 겨우 4%에 불과했다. 조사에 응한 43%는 정보에서 거의 실질적인 혜택을 얻지 못했고, 23%는 아무것도 얻지 못했다고 답했다.

이는 조사에 참여한 기업의 3/4이 경쟁우위를 가져오기 위해 데이터를 활용할 기술과 능력이 없음을 의미한다. 게다가 기업 4곳 가운데 3곳에는 데이터 분석가가 없었고, 데이터 분석가를 둔 회사들도 1/4 만이 그들을 유용하게 활용하고 있음이 드러났다.

기업이 빅데이터에서 가치를 얻지 못하는 진짜 이유

이 조사 결과는 기업들이 저장된 데이터의 숨겨진 자원에 대해 잘 알고 있지 못함을 시사하고 있다. 현업 임원 16%는 자신들의 조직이 어떤 데이터를 보유하고 있는지 잘 모르는 것 같다고 답했고, 23%는 데이터가 어떻게 그들 회사에서 전송되는지 어디에서 가장 잘 활용될 수 있는지 알지 못한다고 말했으며, 20%는 자신들의 데이터가 어디에서 가장 가치 있는지를 모른다고 밝혔다.

마찬가지로 최고경영진 1/4은 의사 결정과정, 제품 개발, 비용 절감, 고객 유치와 유지 등에서 데이터로부터 아무런 가치를 느끼지 못한다고 답했다.

아이언 마운틴의 생각 리더십(Thought Leadership) 전무이사 수 트롬블리는 "기업들은 데이터 수집에 막대한 자금을 투자하곤 하지만 실제 그 데이터를 활용할 때는 실수를 저지른다. 그보다 현업 임원들은 데이터를 어떻게 취합해 내부에서 사용하기 쉬운 형태로 어떻게 압축할 지를 알아내는데 주력할 필요가 있다"고 조언했다.

트롬블리는 "모든 것은 데이터 관리를 위한 전략 수립에 있다"며, "첫 번째 단계가 데이터 소스를 식별하는 것이고 다음은 모든 부서들에 대한 애널리틱스의 중요도를 이해하는 것, 마지막이 경쟁력을 확충할 계획을 만드는 것"이라고 설명했다.

또한 데이터 과학자를 서둘러 채용하거나 애널리틱스 전담 부서를 신설하기 앞서 경영진들이 먼저 자리에 앉아 그들이 애널리틱스를 통해 무엇을 달성하고자 하는지를 파악해야 한다.

기업마다 기대하는 바가 다르고 최고의 데이터 전략은 전체 미션과 사업 목표에 달려있다. 이는 모든 회사에 데이터 전담 부서가 꼭 필요한 것은 아니며 현재 직원들의 능력을 대신 활용할 수도 있음을 의미한다.

포레스터 리서치 수석 애널리스트 브라이언 홉킨스 또한 비슷한 주장을 했다.
홉킨스는 "빅데이터는 기업이 2대 우선순위로 지목한 '매출'과 '고객 경험 변환'을 해결하는데 아주 큰 역할을 하지만 데이터를 체계적으로 인사이트(통찰력)와 행동으로 바꾸지 않으면 무용지물이 되고 만다"고 말했다.

글로벌 칼럼 | 인사이트 시스템 없는 빅데이터는 '무용지물'

빅데이터 분석에 대한 긍정적인 조사 보고서도 있었다. 델이 지난 10월 5,000명 이상 기업의 의사결정권자 2,900명을 대상으로 설문조사를 한 결과, 빅데이터를 도입하는 기업이 그렇지 않은 기업보다 50% 더 빨리 성장한 것으로 나타났다.

빅데이터 도입 기업, 성장 속도 2배 더 빨라” 델 보고서

그러나 2015년은 전반적으로 빅데이터에 대한 여러가지 문제점이 드러나는 한해였다. 빅데이터는 기업의 경쟁 우위는 물론 기업 생존을 위해서라도 꼭 뛰어들어야 한다는 것이 지금까지 전문가들의 소견이었다.

그 결과 빅데이터 분석에 대한 막연한 기대감과 수많은 오해, 잘못된 속설들이 등장했으며, 이런 오해들은 실제 구현에 있어 많은 문제점을 야기하게 됐다.

빅데이터로 인한 변화, "생각보다 많지 않다"
빅데이터의 '불협화음', 빅데이터 솔루션에 대한 '기대'와 '현실'
빅데이터의 9가지 문제
빅데이터와 하둡에 대한 9가지 잘못된 속설과 진실
글로벌 칼럼 | 하둡이 곤경에 빠졌다고? 그건 가트너만의 생각일뿐이다
글로벌 칼럼 | "어쨌든 하둡의 전진은 계속된다"
빅데이터가 기업에 해를 끼치는 6가지 경우

엄청난 거품과 구현의 어려움이 존재하는 빅데이터는 각성의 시기를 거치면서 새로운 전환기에 접어들었다. 2010년 대에 접어들면서 그 어느 때보다도 많은 데이터가 생성되고 있으며, 사람들은 최신 데이터를 빠르고 효율적으로 찾는 방법과 세상을 바꾸기 위해서는 어떤 행동을 취해야 하는지 알고 싶어한다.

사람들은 이를 두고 빅데이터의 시대가 도래했다며, 새로운 패러다임이 형성되고 있다고 말하지만 사실 데이터를 분석하고 온전히 이해하려는 차원에서 봤을 때 빅데이터 개념은 지난 100년 전부터 이미 뜨거운 이슈였다.

IDG 블로그 | 100년 동안 유행한 그 단어, '빅데이터'

1914년,뉴욕의 윌러드 브린턴은 <도해식의 사실 제시법(Graphic Methods for Presenting Facts)>이라는 데이터를 전하는 이론에 관한 첫 번째 책을 썼다. 브린턴은 "매년 수백만 달러의 자금이 데이터를 모으는 데 사용되고 있다"고 말했다. 그 당시 최첨단의 펀치 카드 프로세싱 기기를 이용하는 사람들은 그전보다도 더 많은 데이터를 다룰 수 있었는데, 대략 시간당 3,000개의 레코드 수준이었다.

정보를 처리하고 전달하는 것은 그 당시에도 매우 중요했다. 브린턴은 "작은 두뇌에 정보와 사실을 무조건 많이 주입한다고 해서 해결되는 문제는 아니다"고 말했다. 브린턴은 빅데이터를 이해하기 쉽고, 행동으로 옮길 수 있는 분석력으로 도출하는 사람이 가장 성공할 것이라고 깨달은 것이다.

항상 문제는 같다. 인간이 만들어내는 데이터는 지금도 늘어나고 있다. 데이터를 저장하고 처리하고, 분석하는 도구도 늘어나고 있다. 이러한 도구는 우리가 구현하고자 하는 수준보다 다소 뒤처진다는 느낌마저 든다. 사실 이것이 현실이며, 마케터들이 빅데이터를 포장해왔다는 것이 현실이고, 과거와 크게 다른 것은 없다.

이렇게 거품 속에 가려진 빅데이터의 본질이 드러나는 가운데, 기업들은 인사이트를 발굴하려는 노력은 줄어들지 않고 있으며, 빅데이터를 활용하는 사례는 점점 더 확산되고 있다.

특히 최근 핀테크와 연관해 인터넷 은행 계좌 개설이나 신용 대출의 경우, 해당 고객에 대한 빅데이터 분석은 필수적인 요소로 자리잡고 있다.

2015 핀테크 완전 정복 - IDG Deep Dive

또한 웨어러블 컴퓨팅이나 기업의 IoT 전략에서의 핵심 기술은 바로 빅데이터 분석 기술이다.

마이크로소프트, “사물 인터넷과 빅데이터의 본질은 같다”
더 “똑똑한 세상”을 위한 사물인터넷과 빅데이터 분석 - IDG Summary
인텔, ”우리의 스마트워치 전략은 빅데이터 분석”

SANS 인스티튜드가 발표한 최근 보고서에 따르면, 기업들은 빅데이터 솔루션을 자사의 로그 관리에 가장 많이 사용하고 있는 것으로 알려졌다.

빅데이터 프로젝트에서 절반 이상인 55%의 기업이 빅데이터 기술을 로그 관리에 사용해왔다. 게다가 향후 2년 내로 빅데이터를 배포할 계획이 있는 기업 가운데 58%가 로그 관리에 우선순위를 두고 있다고 응답했다.

'빅데이터 활용 사례 1위, '로그 관리' ... SANS 인스티튜트
신제품 개발의 숨은 공신 'IoT와 빅데이터 분석'
가장 흔해빠진 7가지 하둡 및 스파크 프로젝트
빅데이터를 사용해 IT 운영의 변화를 이끄는 방법

2015년 국내 빅데이터 시장은 기업 전반에서 빅데이터 자체의 관심보다는 실질적인 인프라를 구현해 나가는 시기로 접어들었다. 한국 IDC는 지난 10월 말, 국내 빅데이터 기술 및 서비스 시장 전망보고서를 발표하면서 2018년까지 연평균 성장률 26.4%로 증가해 3,117억 원 규모에 이를 것으로 전망했다.

국내 빅데이터 기술 및 서비스 시장, 2018년까지 연평균 26.4% 성장 예상...한국IDC

IDC 보고서에 따르면, 선두 기업들은 비즈니스 의사 결정에 있어 적시에 정보를 얻거나 시장 상황에 신속한 대응을 위해 빅데이터 기술을 활용하는 방안을 모색하고 있으며, 비즈니스 성장 기회를 식별할 수 있는 데이터 아키텍처에 대한 투자를 강화하고 있다.

또한 하둡과 같은 오픈소스 빅데이터 처리 프레임워크가 비용과 확장성 측면에서 시장의 신뢰를 얻어감에 따라, 이와 연계해 기존에 보유한 데이터 분석 인프라를 확장하는 방식으로 수요가 구체화되고 있다.

한국IDC의 빅데이터 담당 박예리 책임 연구원은 "기업 전반에서 빅데이터 자체에 대한 관심과 화두가 되던 시기를 지나, 이제는 특정 업종 또는 워크로드별로 실질적인 인프라를 구현해나가는 시기로 접어들고 있다"며, "실제로 시장은 운영 분석 및 보안 분석과 같이 내부 통제나 정보 거버넌스 등의 직접적인 비즈니스 요구사항과 맞물려, 대용량 실시간 로그 분석 등 기존 시스템 관리나 보안 분야에서 빅데이터 분석 기술을 접목하는 방식으로 진화하는 양상을 보이고 있다"고 설명했다.

한국은 빅데이터 금광, 실시간 분석으로 데이터 캐내야

SAS코리아 CSO인 이진권 상무는 향후 2, 3년간 빅데이터는 "기업들이 보지 못했던 데이터를 찾고, 인사이트를 산삼 캐는 방식에서 농사짓는 방법으로 전환하면서 DIY(do-it-yourself) 빅데이터 문화가 만들어질 것"이라고 예측했다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.