2017년, 변화를 맞이한 빅데이터와 분석 분야 10대 전망

HPE


IT 리더들이 예측하는 빅데이터와 분석 트렌드를 알아봅니다. 무엇에 주목해야 할까요? 각종 도구에 대한 지출이 증가하고 있으며, 데이터 관련 직무도 변화하고, 기업들이 고급 분석을 활용해 경쟁함에 따라 전체 산업계가 큰 변화를 겪고 있습니다.

“인생에 있어서 확실한 것 3가지는 죽음, 세금, 그리고 변화”라는 속담이 있습니다. 변화는 필수지만, 발전은 옵션이라고 할 수 있습니다. 2017년에 확실한 것이 한 가지 더 있다면, 더 많은 데이터가 생성될 것이라는 사실이며, 이는 더 많은 데이터를 분석할 수 있는 더 많은 기회를 의미합니다. 어떻게 부서가 협업할지와 생산성을 개선하고 비즈니스를 앞으로 전진시킬 기반 기술을 알아봅니다. 다음은 주목해야 할 사항들입니다. 특별한 순서는 없습니다.

1. 도구에 대한 투자가 증가하고 있습니다
점점 더 많은 수의 엔터프라이즈들이 분석 도구에 투자할 것이며, 반면에 다른 기업들은 차세대 분석을 무기로 더 꼭 맞는 데이터 분석을 수행할 것입니다. 한마디로, 데이터 분석은 더욱 정교해지고, 엔터프라이즈들은 더욱 실행 가능한 비즈니스 의사결정을 하게 될 것입니다.

IDC는 빅데이터와 비즈니스 분석으로부터의 전 세계 매출은 2019년에 1,870억 달러에 이를 것이며, 소프트웨어로부터의 매출보다 55억 달러가 많을 것이라 전망하고 있습니다. IDC의 분석과 정보 관리 그룹 부사장인 댄 베셋이 “차세대 비즈니스 분석 솔루션을 활용할 수 있는 조직들은 파괴적인 변화에 적응하고 시장에서 경쟁력 있는 차별화를 만들어내기 위해 디지털 전환을 활용할 수 있다”고 말했습니다. 이런 조직들은 단지 기존 프로세스를 자동화하는 것만이 아닙니다. 정보의 가치와 활용도를 이끌어내고 발전시키기 위해 집중적인 접근방식을 사용함으로써, 마치 다른 가치 있는 자산을 다루듯이 데이터와 정보를 취급하고 있습니다.

진취적인 기업들은 설명적 분석(Descriptive Analytics: 기술적 분석이라고도 함)을 실시할 것이며, 설명적 분석은 이미 발생한 이벤트를 해석합니다. 또는 이런 기업들이 한 발 더 나가서 예측 분석(Predictive Analytics)을 배포하기도 하는데, 예측 분석이란 그대로 계속했더라면 어떤 일이 벌어졌을지를 알려줍니다. 처방적 분석(Prescriptive Analytics)는 경영진들에게 핵심성과지표(KPI: Key Performance Indicator)를 개선하기 위해서 어떤 조치를 취할 수 있는지 그리고 취해야 할지를 알려줄 것입니다. 행태 분석(Behavioral Analytics)은 고객들이 원하는 것을 꼭 집어낼 수 있는 능력을 제공해주고, 정확한 제품과 서비스를 고객들에게 제공합니다.

2. 협업적 분석이 정착합니다
IBM의 빅데이터 에반젤리스트인 제임스 코베일러스는 데이터 분석은 팀 스포츠이며, 성공적인 데이터 과학 프로젝트들은 고성과 팀 협업을 활용하고 있다고 블로그에서 밝혔습니다. 더 나가서, 최상의 협업 환경은 데이터 과학 전문가들이 다양한 프로젝트에 대한 피드백, 지침, 생각, 모델, 요청사항, 사례, 그리고 템플레이트를 유연하게 공유할 수 있게 합니다. 정적인 PDF나 파워포인트 자료는 결국에는 다른 것으로 대체될 것입니다. 데이터 기반 알림을 통해서 데이터에 대한 연결을 계속해서 유지하고, 관련 데이터와 베스트 프랙티스를 공유하며, 서로의 작업을 기반으로 활용할 수 있는 부서의 능력이 비즈니스를 추진할 것으로 보입니다.

3. 분석이 분산됩니다
조사와 자문 회사인 IIA(International Institute for Analytics: 국제분석연구원)에 따르면 차세대 데이터 분석의 효과가 나타나기 시작하면서, 중앙집중형 분석은 더욱 구체적인 비즈니스 필요사항을 충족시키는 데 도움을 주기 위해 분산 접근방식으로 대체될 것이라고 합니다. IIA의 “2017 분석 예측과 우선순위” 보고서에 따르면 어느 정도의 중앙 조율이 유용하기는 하지만, 중앙의 분석 그룹이 비대해지면 예산 삭감이나 다른 압력의 타깃이 될 수도 있어서, 분산화로 내몰릴 수 있다고 합니다.

4. 더욱 정교한 플랫폼이 부상합니다
또한, IIA는 조직들이 분석의 다음 단계로서 인공 지능(AI: Artificial Intelligence)의 배포를 향해 나아갈 수 있게 자신들을 가동할 수 있는 기능을 가진 분석 플랫폼을 도입할 것으로 예상합니다. 포레스터는 2017년 고객 예측 보고서에서 기업들이 복잡한 시스템, 고급 분석, 그리고 머신 러닝(Machine Learning) 기술을 활용하기 시작했기 때문에 AI 투자가 3배가 될 것이라고 지적하면서 이런 의견에 동의하고 있습니다.

5. 분석이 클라우드로 이동합니다
여러 가지 설득력 있는 이유로, 조직들은 각종 프로세스를 클라우드로 옮기고 있습니다. 관측통들은 2017년에는 엔터프라이즈들이 분석 수행용으로 클라우드 플랫폼을 고려할 것이라고 예상하고 있습니다. IIA 보고서에 의하면 오픈 소스 분석 방법과 업체 고유 분석 방법 모두 더욱 쉽게 사용할 수 있으며, 그 결과 클라우드 공급업체들이 전통적인 분석 기업들에 대한 “각력한 경쟁자”가 되어간다고 합니다. “AWS와 애저 같은 클라우드 플랫폼들도 기본적인 보고서 작성에서부터 고급의 최적화와 머신 러닝까지 탄탄한 분석 기능을 제공하고 있으며, 이는 클라우드에서의 분석을 실험적인 작업이나 업무용 작업 모두에 대해서 실행 가능한 솔루션으로 만들고 있다”고 IIA 보고서는 기술하고 있습니다.

6. CDO의 역할이 중요성을 확보합니다
몇몇 경우에는 분석 기능이 여전히 진행 중인 작업으로 남아있지만, 더 많은 조직이 분석 전문가의 역할을 공식화할 것으로 보입니다. 하둡 도구 개발업체인 앳스케일의 CMO(Chief Marketing Officer)인 브루노 아지자는 한 인터뷰에서 “2017년에는 엔터프라이즈에서 CDO(Chief Data Officer)의 역할이 ‘악역’에서 중요한 프로젝트의 관리인으로 승격할 것이라고 예상할 수 있다”고 말했습니다. 더 많은 조직들이 CDO 직책을 도입함에 따라, 엔터프라이즈에 생소했을 때 직면했던 초기의 문제 중 일부를 극복하면서 역할이 더 성숙해질 것이라는 예상입니다. 아지자는 “CDO가 액세스를 활성화할 것이라고 예상할 수 있다”고 말했습니다.

2017년에 CDO가 더 많은 중요성을 확보하는 트렌드는 대부분의 조직 전체에서 발생하고 있는 훨씬 더 심도 있는 변화를 대표하고 있다”고 말했다. 가트너의 조사 부사장이며 저명한 분석가인 테드 프리드만은 분석 종사자들은 혁신적인 사업 기회를 확보하고 위험을 최소화하기 위한 데이터와 분석의 사용 이익을 실현하기 위해 다른 이들과 더욱 밀접하게 작업해야 한다고 설명했습니다.

7. CMO는 진화해야만 합니다
CMO는 전통적으로 데이터 분석의 성을 여는 열쇠를 쥐고 있었습니다. 그렇지만 진화하지 않는다면, 사라질 수도 있습니다. 포레스터의 2017 고객 예측보고서에 따르면, 어떤 이들에게는 이런 진화가 무리한 요구일 수도 있다고 합니다. 더욱 만족감 있는 고객 경험을 설계하는 동시에 전후 사정과 관련하여 풍부한 경험을 제공하기 위한 기술과 분석에 통달해야 한다는 과제가 주어질 것이기 때문입니다.

브랜드에 중점을 두고 있는 일부 CMO들은 기술, 분석, 그리고 고객 경험(Customer Experience: CX) 프로그램에 대한 모든 책임을 지는 것에 부담을 느껴오고 있다고 이 보고서는 기술하고 있습니다. 마찬가지로, 분석에 집중하고 있는 CMO들은 매력 있는 고객 경험을 개발하는 것을 불편해하고 있습니다. 현 상태를 유지하는 것은 위험합니다. 포레스터의 보고서는 “CEO들이 디지털 변혁을 주도하고, 탁월한 개인화 경험 설계하며, 성장을 추진할 때 필요한 혼합된 스킬 세트를 모으지 않았다는 이유로 고용하고 있는 CMO의 최소 30%를 퇴출할 것으로 예상한다”고 밝혔습니다.

8. 데이터 분석이 수직화됩니다
IDC에 따르면, 2016년 5개의 산업이 전 세계 빅데이터와 비즈니스 분석 투자의 거의 50%를 차지했으며, 2020년까지 수위를 차지하고 있을 것이라고 합니다. 성장을 주도하고 있는 구체적인 수직 산업은 금융, 일반 제조업, 공정 제조업, 연방/중앙 정부, 그리고 전문 서비스입니다. 고객 통찰과 분석 담당 프로그램 디렉터인 제시카 궤페르트는 “금융권 내부에서, 이런 노력의 상당수는 위험 관리, 사기 방지, 그리고 컴플라이언스 관련 작업에 집중되어 있다”고 말했습니다.

포브스의 한 기사는 워털루 대학교 전자계산학과 교수이며 타므르의 공동 창업자인 이하브 일리아스의 말을 빌려, “데이터 분석은 수직화 할 것이며, 수직적 솔루션을 구축한 기업들이 시장을 독점할 것”이라고 예측했습니다. “범용 데이터 분석 기업들은 사라지기 시작할 것이다. 수직 데이터 분석 신생기업들은 데이터 수집, 준비, 그리고 분석을 위해 자체적으로 모든 스택을 구비한 솔루션을 개발 할 것”이라는 주장입니다.

9. 데이터 과학자의 역할이 진화합니다
통계 분석과 예측 분석 기술을 보유하고 있는 데이터 과학자와 분석가 부족은 잘 알려져 있으며 대부분의 업계에서 지속될 것입니다. IDC는 2018년에 미국의 기업들은 심도 있는 분석 기술을 가진 사람 18만 1,000명이 필요할 것이고, 데이터 관리와 해석 기술을 가진 사람은 이 숫자보다 5배나 더 많이 필요하게 될 것이라고 전망했습니다. 코베일러스가 차세대 데이터 과학자에 대한 게시물에서 설명했듯이 데이터 과학자들이 통합되고, 종합적인 클라우드 기반 개발 환경 안에서 작업함 따라 데이터 과학자의 직무도 점점 더 복잡해지고 있습니다.

10. 하둡은 더 이상 빅데이터를 장악하지 않습니다
하둡은 비정형 데이터 획득, 변환, 쿼리 가능한 아카이빙의 중심으로 남아 있을 것입니다. 고도 병렬 데이터 처리를 위한 맵리듀스와 데이터 저장을 위한 HDFS(Hadoop Distributed File System) 같은 하둡의 몇 가지 핵심 구성요소에 관한 한, 코베일러스를 비롯한 다른 이들은 트렌드는 아파치 스파크(Spark)와 분산 객체 스토리지(Distributed Object Storage)를 사용하는 쪽이 될 것이라고 확신하고 있습니다. 코베일러스는 트렌드가 “IBM의 WDP(Watson Data Platform)에서 가장 잘 보이고 있으며, WDP는 맵리듀스 대신 스파크를 그리고 HDFS 대신에 분산 객체 스토리지를 사용하고 있다”고 기술합니다. 또, WDP와 다른 차세대 클라우드 데이터 플랫폼이 하둡 클러스터로부터 데이터를 얻겠지만, 스파크가 새로운 클라우드 데이터 서비스 플랫폼의 중심이라고 덧붙였습니다.

태블로 소프트웨어의 제품 마케팅 담당 이사인 댄 코간은 하둡상에서 분석에 대한 필요사항을 충족시키기 위해 빅데이터의 물결과 더불어 몇 가지 기술이 개발되었다고 말했습니다. 그렇지만, 복잡하고 이질적인 IT 환경을 보유하고 있는 엔터프라이즈는 기록 시스템에서 클라우드 웨어하우스까지, 그리고 정형 및 비정형 데이터까지 여러 소스(Source)에 묻혀있는 답을 찾기 위해 하둡과 비 하둡 소스 모두를 필요로 할 것입니다. 코간은 “2017년에는 고객들이 모든 데이터에 대한 분석을 요구할 것”이라고 말했습니다. 또, “데이터 그리고 소스에 무관한 플랫폼들이 번창할 것이며, 하둡용으로 특별히 만들어지고 다양한 용도 전체에 걸쳐 배포할 수 없는 플랫폼들은 실패할 것이다. 플랫포라의 퇴출은 이런 트렌드의 초기 지표 역할을 하고 있다”고 덧붙였습니다.

이노베이션 엔터프라이즈의 분석 부문 수장인 데이비드 바튼은 “2017년 이전까지는 다량의 데이터를 분석하기 위한 머신러닝과 시각화 도구는 실제로 존재하지 않았다”고 지적했습니다. “이제, 이들 도구의 품질이 개선되고 있고 가격이 하락하고 있어서, 더 많은 도구가 배포될 것으로 예상합니다. 비정형 데이터에 더 놓은 우선순위를 부여하는 기업이 늘어날 것”이라는 설명입니다.

2017년 분석에서는 무엇이 핵심일까요?
종합적인 데이터 분석 기법들을 개발하고 생성되고 있는 데이터를 더욱 정교하게 분석하기 위해 고급 도구를 도입하십시오. 아직 데이터 분석을 하고 있지 않다면, 바로 지금 시작하십시오. 필요한 조처를 하십시오. 분석에서 불리한 입장에 처하지 마십시오. 가트너의 프리드만은 “디지털 비즈니스로의 여정의 핵심은 데이터 자산을 더 잘 수집, 관리, 활용해서 더 풍부한 통찰력을 얻기 위해 분석을 적용하려는 욕망”이라고 말했습니다. 또, “가트너는 2018년에는 커다란 조직 중 절반 이상이 고급 분석과 조직 고유의 알고리즘을 사용해서 경쟁함으로써, 전체 산업이 혼돈을 겪을 것”이라고 말했습니다.

데이터와 분석 : 리더를 위한 교훈
- 기업들이 고급 분석과 조직 고유의 알고리즘을 사용해서 경쟁함으로써, 전체 산업을 혼란에 빠트릴 것입니다.

- 클라우드 플랫폼이 탄탄한 분석 기능을 제공하여, 클라우드를 탐구적인 작업과 업무용 작업에 대한 실행 가능한 옵션으로 만들 것입니다.

- 높은 성과를 내는 팀 협업이 성공적인 데이터 과학 프로젝트에 매우 중요해질 것입니다.

- 분석 전문가들의 역할은 더욱 공식화됩니다. CDO의 중요성이 커지고, CMO는 진화해야 할 것입니다.

- 데이터 과학자의 책무는 점점 더 복잡해질 것입니다.