AIㆍML / BI|분석 / CIO / 데이터ㆍ분석 / 애플리케이션

"빠르고 확실한" 데이터 애널리틱스 실패 법칙 7가지

Bob Violino  | CIO 2017.11.09
오늘날 데이터 애널리틱스는 기업과 테크놀로지를 차별화하는 중요한 요소로 급부상하고 있다. 기업들은 데이터 애널리틱스를 통해 기업 운영의 모든 측면에 대한 날카로운 통찰력을 얻고 이를 통해 시장에서의 경쟁을 이기고자 한다. 

가트너는 올해 초 2017년에는 데이터와 애널리틱스가 주류가 되어 그 동안 변화를 준비해 온 기업의 안팎으로 가치를 창출해 낼 것이라고 예측한 바 있다. 데이터 애널리틱스에 대한 접근 역시 훨씬 더 전체적이고 기업 전반을 포괄해 나가고 있다고 언급했다.

가트너에 따르면, 데이터 애널리틱스와 관련해 떠오르는 트렌드는 다음과 같은 것들이 있다.
- 애널리틱스는 단순히 기업의 성과를 반영하는 것이 아니라 현대 기업의 오퍼레이션을 주도하는 역할을 할 것이다.
- 기업들은 중심부터 주변부까지 데이터 매니지먼트 및 애널리틱스를 위한 엔드-투-엔드 아키텍처를 정립할 것이다.
- 경영자들은 데이터 애널리틱스를 비즈니스 전략의 일환으로 삼아 데이터와 애널리틱스 전문가들이 새로운 역할을 맡고 비즈니스 성장에 기여할 수 있도록 할 것이다.

실제로 기업들은 애널리틱스 툴에 막대한 양의 돈을 투자하고 있다. 2017년 3월 발행된 인터내셔널 데이터(International Data) 보고서에 따르면, 올해 빅 데이터 및 비즈니스 애널리틱스로 인한 수익이 전 세계적으로 1,508억 달러에 이를 것으로 예상되며, 이는 2016년 대비 12% 가량 증가한 것이다. 이런 증가 추세는 2020년까지 계속될 전망이며, 수익 규모는 2,100억 달러까지 증가할 것이라고 보고서는 밝혔다.

이렇듯 데이터 애널리틱스의 중요성이 강조되고 있지만 아직도 많은 기업이 애널리틱스의 진정한 가치를 낭비하거나 곡해하며 제대로 활용하지 못하게 되는 함정에 빠지고 있다. IT 리더들과 업계 전문가들이 지적하는, 애널리틱스에 실패하는 가장 확실하고 빠른 7가지 방법에 대해 알아보자.

1. 찾는 것이 무엇인지도 모르고 뛰어들기
데이터 분석을 통해 찾고자 하는 트렌드나 시그널이 무엇인지 알지 못하는 상태에서 어떻게 데이터로부터 진정한 가치를 창출해 낼 수 있을까.

딜로이트 애널리틱스(Deloitte Analytics)의 수석 고문이자 <애널리틱스 경쟁: 새로운 승리의 과학(Competing on Analytics: The New Science of Winning)>의 저자인 톰 데이븐포트는 "분석 과정에서 가장 큰 문제는 데이터에서 무엇을 얻으려는 것인지 모를 때"라고 지적했다.

데이븐포트는 "시스템이 알아서 흥미롭거나 알아 둘만한 가치가 있는 데이터를 찾아 줄 것이라는 오해 때문에 기업들은 10여 년이 넘도록 데이터 마이닝과 관련해 헛물을 켜 왔다. 설령 머신러닝 기술이 있다고 해도, 데이터의 관계와 관련해 어떤 정보를 찾고 싶은지, 애널리틱스의 방향성 정도는 설정해 둬야 한다"고 설명했다.

예를 들어, 웨더닷컴(weather.com)의 품질 보증 매니저 토드 이튼은 "웨더닷컴은 '데이터에 대한 쿼리와 데이터가 말하고자 하는 바를 정확하고 완전한 스토리로 엮어낼 수 있는 사람'을 찾는 것이 중요하게 여기고 있다"고 말했다.

이튼은 "이들은 데이터를 이용해 질문에 대답하고, 또 자신들이 찾아낸 결과물을 끊임없이 따지고 탐색해 데이터가 단순히 내러티브만을 제공하는 것이 아니라 실제 현상을 설명할 수 있는지, 향후 일어날 일을 예측할 수 있는지 알아보려 한다. 또한 우리가 데이터를 통해 찾아내려 하는 것이 무엇인지, 우리의 목표가 무엇인지 모두에게 알리고 지속적이고 일관된 데이터 측정을 하는 것이 중요하다"고 주장했다.

따라서 데이터 애널리틱스에 실패하기 위한 가장 좋은 방법 가운데 하나는 분석 과정에서 무엇을 찾고자 하는지조차 설정하지 않은 채 무조건 뛰어드는 것이다.

다국적 기업 GE의 최고 데이터 책임자 크리스티나 클라크는 "확실한 목표를 설정하고, 우선순위를 분명히 해 둔 상태에서 시작했을 때 가장 좋은 결과를 얻을 수 있다. 데이터 애널리틱스에 실패하는 팀들은 대개 지나치게 많은 비즈니스 수요를 한꺼번에 처리해야 하기 때문이다. 이 경우 어느 한 가지에도 제대로 집중하지 못하기 때문에 유의미한 영향력을 미치거나 결과를 낼 수 없게 된다"고 말했다.

2. 자체적인 인프라스트럭처 정립과 유지 고수
자체적인 빅데이터 인프라스트럭처를 갖추고자 하는 유혹이 강하게 들 수도 있다. 하지만 이런 결정은 기업의 데이터 애널리틱스 시도 자체를 실패로 돌아가게 만든다.

사이버 보안 업체 벡트라(Vectra) CTO 올리버 타바콜리는 "자체적 빅데이터 인프라스트럭처를 구축하려 할 경우, 데이터 과학자들은 실제로 애널리틱스를 개발하는 것 외에 다른 업무에 지나치게 많은 시간을 낭비하게 된다"고 지적했다.

타바콜리는 "우리는 많은 데이터에 기반한 데이터 애널리틱스를 원했다. 그래서 처음에는 많은 이들이 하는 방식을 따라 했다. 충분한 디스크 용량을 지닌 서버를 구매하고, 코로케이션 시설에 이를 설치한 뒤 아파치 스파크(Apache Spark)와 자체적인 하둡 클러스터(Hadoop cluster)를 생성하고 데이터 과학자들로 하여금 이런 클러스터와 상호작용 할 스칼라(Scala) 코드를 쓰도록 했다"고 말했다.

클러스터는 때로는 하드웨어 실패로 인해, 그리고 무엇보다 소프트웨어 실패로 인해 자주 무너졌다. 소프트웨어 패키지가 데이터를 이탈하고 때로는 이로 인해 수시간 넘게 클러스터가 불가용한 상태가 되기도 했다.

타바콜리는 "결국 더 이상은 이렇게는 안 된다는 생각이 들었고 이 부분을 아웃소싱해 문제를 해결하기로 했다"고. "벡트라는 외부 업체를 찾아 이런 업무를 아웃소싱한 결과 이런 성가신 문제에 더 이상 신경쓰지 않은 채 시스템에 데이터를 피딩하고 이를 분석하는 작업에만 몰두할 수 있었다"고 덧붙였다.

3. 데이터의 분산과 분리
기업들은 오래도록 각기 다른 부처 간 정보 공유를 방해해 온 '데이터 사일로(data silos)' 문제로 골머리를 앓아 왔다. 애널리틱스에서도 이런 문제는 여전히 남아 있다.

라이프사이클 관리 마케팅 업체 제타 글로벌(Zeta Global) CIO 제프리 니머로프는 "가장 좋은 해결책은 별개의 데이터들을 하나로 통합하는 것"이라고 말했다.

니머로프는 "모든 데이터 사일로는 가치를 창출해 내는 원천인 데이터 간 연결을 방해한다. 예를 들어, 웹사이트 활동 데이터와 사용자 프로필 데이터가 서로 단절된다고 생각해 보자. 데이터간 연결 지점이야말로 데이터의 예측력이 향상된다는 사실을 생각해 봤을 때, 데이터간 상호 연결이 원활하게 될수록 더 나은 성과를 낼 수 있다"고 설명했다.

그렇다고 해서 모든 데이터를 원래의 시스템에서 하나의 단일 시스템으로 다 옮겨야 한다는 것은 아니다. 니머로프는 "그보다는 통합 테크놀로지를 활용해 데이터는 최대한 현재의 시스템에 머무르게 하면서도 다양한 데이터에 대한 통합적 관점을 확보할 수 있도록 해야 한다"고 조언했다.

4. 데이터 품질 관리 소홀하기 
현재 분석중인 데이터의 정확도에 문제가 있거나, 오래된 데이터이거나, 잘 조직되지 않은 데이터라면 애널리틱스의 결과를 통해 얻게 되는 정보의 품질이 심각하게 저하될 수 밖에 없다.

니머로프는 "인풋이 쓰레기이면 아웃풋도 쓰레기일 수 밖에 없다. 이런 문제는 특히 비즈니스 데이터의 방대한 분량과 범주로 인해 더욱 심각해진다. 훌륭한 애널리틱스 팀이라면 데이터의 품질을 포기하지 않을 것이다. 따라서 데이터 품질을 보장하기 위한 프로세스를 도입하고 이와 관련된 테크놀로지를 활용하는 것이 성공적인 애널리틱스를 위한 방법이다"고 지적했다.

그는 프로세스 측면에서는 프로세스 자체의 반복성을 보장하고 결과의 감사 가능성을 보장하는 것이 중요하다고 말했다. 한편 테크놀로지 측면에서는 프로파일링, 메타데이터 매니지먼트, 데이터 클린징, 소싱 등 데이터 품질 툴을 배치해 데이터 품질을 높이는 데 집중해야 한다고 말했다.

타바콜리는 "특히 불완전하고 부분부분 조각난 데이터 파편들을 청소하고 각기 다른 소스로부터 온 데이터들을 관리해 최대한 분석하기 쉽게, 상호 호환과 해석이 가능하도록 만들어야 한다"면서, "데이터 그 자체만으로도 최대한 설명이 가능하도록 해 애널리틱스 팀이 다양한 데이터 조각의 의미를 최대한 쉽게 이해할 수 있는 상태로 만들어야 한다"고 덧붙였다.

테크놀로지 서비스 업체 인세도(Incedo) CEO TP 미글라니는 "고품질 데이터는 유의미한 정보와 통찰력을 얻기 위해 가장 중요한 요소다. 데이터웨어하우스와 데이터 레이크를 통해 정형 및 비정형 데이터를 한 데 모을 수 있어야 한다. 성공적으로 애널리틱스 작업을 해내는 기업은 데이터 청소와 정확한 레이블링을 통해 데이터의 품질을 향상시키려 노력한다"고 말했다.

데이터 품질을 관리한다는 것은 또한 최대한 시의성 높은 데이터를 준비한다는 의미이기도 하다. 니머로프는 "데이터는 오래 되지 않은 가장 최근의 데이터이어야 하며 기업이 애널리틱스를 통해 가치를 창출해낼 수 있도록 '데이터 우주(data universe)'가 지속적으로 확장되어야 한다"고 말했다.

니머로프는 "데이터의 신선도를 유지하기 위해서는 현재 데이터 획득 과정이 얼마나 시의성 있게 운영되는 지를 봐야 한다. 시스템이 시의성 높고 실시간일수록 데이터 신선도도 높아진다. 또한 서드파티 서비스를 이용해 기존의 테크놀로지와 프로세스를 증강하는 것도 데이터 신선도 개선에 도움이 된다"고 조언했다.

5. 경영자, 비즈니스 파트너를 설득하지 못하는 것
어떤 메이저 IT 프로젝트도 그렇듯이, 핵심 책임자와 경영진, 리더들의 지원을 받지 못하는 데이터 애널리틱스 프로젝트는 성공이 요원하다.

미글라니는 "애널리틱스 팀의 목표는 기업의 전략적 의사 결정과 데이터를 연관시켜 이로부터 통찰력을 얻어내는 것이다. 만약 데이터 과학 팀에서 데이터 분석을 잘 해내고, 정확한 예측 모델을 만들어 냈다고 해도 이를 적용하기 위해서는 기업의 문화와 조직에 변화를 가해야 한다는 이유로 이것이 도입되지 않았다면 그것은 실패한 애널리틱스 프로젝트라고 밖에는 볼 수 없다"고 말했다.

GE의 클라크는 "이처럼, 데이터 매니지먼트 기반을 세우는 것은 수년 넘게 지속적인 노력이 필요하다"고 설명했다. 클라크는 "데이터 팀이나 애널리틱스 팀에서 주도하는 몇몇 작업들은 당장의 결과가 눈 앞에 보이지 않기 때문에 비즈니스 파트너들이 기대하는 바를 충족시키지 못할 때가 있다. 때문에 기업 리더들을 설득하고 비즈니스 파트너들에게 데이터 애널리틱스의 가치를 설득시켜 데이터 주도적 미래에 대한 비전을 공유하도록 해야 한다"고 설명했다.

6. 실무자들의 인풋을 반영하지 않는 것
실제로 애널리틱스를 통해 얻게 될 결과물인 정보를 활용하는 비즈니스 매니저들로부터의 인풋 없이, 실험실 환경에서 데이터 과학자와 전문가들이 수행한 애널리틱스는 이런 인풋을 받아 실행한 애널리틱스보다 성공적일 수 없다.

서비스 매니지먼트 소프트웨어 업체 에스티아 인터내셔널(Astea International) COO 데이빗 지아네토는 "중간급과 실무급 매니저들의 참여없이 진행된 분석은 실무에서 매니저들에게 큰 도움이 되지 않는 정보만을 내놓기가 쉽다"고 말했다.

지아네토는 "이렇게 얻은 정보는 좀 더 큰 그림만을 보게 된다. 즉 프로세스 상의 흠결이나 개선이 필요한 영역 등 방향을 가리키는 정보만을 내놓게 된다. 하지만 이는 매니저들이 당장에 필요로 하는 정보가 아니다. 그저 시간이 남을 때 생각해 볼 만한 문제들일 뿐이다. 대부분의 매니저는 이런 시간적 여유를 가지고 있지 않다. 때문에 애널리틱스 팀에 비즈니스를 잘 알고, 매일 일어나는 업무에서 필요로 하는 정보가 무엇인지 알고 있는 사람이 포함되어야만 애널리틱스의 결과물인 정보가 비즈니스에 실제적인 도움을 주고 긍정적인 영향을 미칠 수 있게 된다"고 설명했다.

지아네토는 "애널리틱스의 역할은 현재 기업의 문제가 무엇인지, 실패의 가능성이 가장 높은 영역이 어디인 지를 미리 말해줘 이를 예방할 수 있도록 하는 것이다. 그리고 만일 실무자들이 이 정보를 일상적인 업무 환경에서 활용할 수 있게 된다면 그 이니셔티브는 성공한 것이라 할 수 있다"고 말했다.

7. 애널리틱스가 번성할 수 있는 기업 문화와 기술을 갖춘 인재 부족
애초에 데이터 과학과 같은 분야의 기술자를 구하기가 쉽지 않기 때문에 많은 기업이 이 문제를 겪고 있다. 하지만 데이터 가독력(data literacy)이 기업의 문화에서 중심적이지 않다면 애널리틱스 프로젝트가 성공할 확률은 그다지 높지 않은 것이 사실이다.

미글라니는 "애널리틱스에 익숙하지 않은 직원들에게 데이터 과학은 마치 문제 해결을 위한 마법의 비책 같은 것으로 여겨지기 십상이다. 데이터를 통한 예측, 자가 학습과 같은 개념들은 대부분 사람이 한 번에 이해하기에 지나치게 어려운 개념들이다. 따라서 불투명한 알고리즘에 기반해 의사결정을 내리라고 비즈니스 파트너들을 설득하기란 쉽지 않다. 이들에게 데이터 과학과 애널리틱스에 대해 먼저 알려줘야 한다"고 말했다.

기업들은 여전히 데이터 과학자를 비롯해 애널리틱스 스킬을 갖춘 전문 인력들을 찾고자 애쓰고 있다. 미글라니는 "데이터 분석 역량을 강화하는 가장 좋은 방법 가운데 하나는 가능성있고 전도 유망한 인재를 데려와 직접 교육하는 것이다. 이미 존재하는 슈퍼스타만을 찾으려 할 것이 아니라 말이다. 대부분 프로젝트가 지연되거나 실패하는 이유는 기업이 이런 프로젝트를 이끌 적합한 애널리틱스 인재를 제 시간에 찾아내지 못하거나, 이들이 더 나은 조건의 다른 기업으로 이직해 버리기 때문이다"고 설명했다. editor@itworld.co.kr  

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.