BI|분석 / 데이터ㆍ분석

빅데이터 프로젝트가 실패하는 이유 4가지와 성공하는 방법 4가지

Andy Patrizio | InfoWorld 2019.05.20

빅데이터 문제 4 : 기술 세대차이

빅데이터 프로젝트를 추진하면서 기존의 데이터 사일로를 가져와 센서 또는 웹 트래픽이나 소셜 미디어와 같은 새로운 데이터 소스와 병합하려는 경우가 많다. 사실 기업은 빅데이터 분석이라는 개념이 생기기 전부터 데이터를 수집해왔으니 기업이 잘못한 것은 아니지만 어쨌든 문제가 된다.

컨설턴트 그린바움은 “대부분의 경우 가장 부족한 스킬은 복잡한 문제를 함께 해결하도록 두 진영을 혼합하는 방법을 이해하는 스킬”이라며, “데이터 사일로는 아무런 표준도 없으므로 빅데이터 프로젝트를 가로막는 장애물이 될 수 있다. 빅데이터를 계획하면서 데이터 사일로가 데이터를 재사용할 수 있는 방식으로 구현되지 않았음을 알게 된다”고 말했다.

탈렌드의 크리스토퍼는 “다양한 아키텍처가 사용되므로 처리 방법도 각기 달라야 한다. 온프레미스 데이터 웨어하우스를 위한 현재의 툴을 사용해서 이를 빅데이터 프로젝트에 통합하지 못하는 공통적인 이유는 기술적인 특성과 아키텍처의 차이다. 이러한 기술로 새로운 데이터를 처리하려면 너무 많은 비용이 들기 때문이다. 따라서 하둡과 스파크가 필요하고 새로운 언어를 배워야 한다”고 말했다.
 

빅데이터 성공 해법 1 : 사전 계획

가트너의 휴데커는 “흔한 말이지만 ‘계획하지 않으면 실패를 계획하는 것’이라는 말이 여기에도 적용된다. 규모가 작고 달성 가능하며 새로운 것을 선택하라. 제약이 있는 레거시 사용 사례를 선택하면 안 된다”고 말했다.

PwC의 모리슨은 “데이터에 대해 먼저 생각하고, 데이터가 그 조직에 유용하도록 기계가 읽을 수 있는 방식으로 조직을 모델링해야 한다”고 말했다.
 

빅데이터 성공 해법 2 : 협력

빅데이터 프로젝트에 이해당사자, 즉 프로젝트의 결과를 사용할 사람들이 배제되는 경우가 많다. 휴데커는 모든 이해당사자가 협력하면 많은 장애물을 극복할 수 있다면서 “숙련된 기술 담당자들이 상호 협력하고, 또 비즈니스 당사자와 협력하면 실천 가능한 결과를 도출할 수 있다”고 말했다.

휴데커는 빅데이터에서 성공하는 기업은 필요한 스킬에 대대적으로 투자한다는 점을 강조했다. 이런 기업 중에는 금융 서비스나 우버(Uber), 리프트(Lyft), 넷플릭스와 같이 양질의 실질적 가치를 지닌 데이터에 기업의 성패가 좌우되는 데이터 지향 기업이 가장 많다.

탈렌드의 크리스토퍼는 “데이터를 수집하고 정제하는 과정을 팀으로 수행해야 한다. 그러면 데이터의 무결성도 높아진다”고 덧붙였다.
 

빅데이터 성공 해법 3 : 집중

빅데이터 프로젝트는 크고 웅대해야 한다는 선입견을 가진 경우가 많다. 처음 무언가를 배울 때 늘 그렇듯이 성공하기 위한 최선의 방법은 작게 시작한 다음 차츰 목표와 범위를 넓히는 것이다.

휴데커는 “아주 좁게 정의할 필요가 있다. 사기 탐지, 고객 미세 구분, 밀레니얼 시장에 적합한 신제품 찾기와 같은 문제 영역을 선택해서 집중해야 한다”고 지적했다.

크리스토퍼는 “결국 원하는 통찰력 또는 디지털화할 비즈니스 프로세스가 무엇인지를 물어야 한다. 기술이 그냥 비즈니스 문제를 해결해주지는 않는다. 먼저 정의해야 한다. 데이터 레이크는 필요하지만 비즈니스에 사용되지 않을 데이터는 수집하지 말아야 한다”고 말했다.

많은 경우 이는 지나치게 비대해지면 안 된다는 것을 의미하기도 한다. PwC의 모리슨은 “연구 대상 기업을 살펴보니, 전체 비즈니스가 실행되는 핵심적인 개념과 관계는 수백 개에 불과했다. 이 점을 이해하고 나면 수백만 가지의 구분이 이 수백 가지 중요한 것의 미세한 변형에 불과하다는 것을 알게 된다. 사실 작은 변형의 상당수는 애초에 변형도 아니다. 이름과 구조, 레이블만 다를 뿐 동일한 것”이라고 설명했다.
 

빅데이터 성공 해법 4 : 레거시 폐기

수집해서 데이터 웨어하우스에 저장해 둔 테라바이트 규모의 데이터를 활용하고 싶겠지만, 사일로가 없도록 설계된 빅데이터용 스토리지 시스템에 새롭게 수집한 데이터에만 집중하는 편이 더 나을 수 있다.

컨설턴트 그린바움은 “단순히 라이선스가 있다는 이유만으로 기존 기술 인프라에 묶여 있을 필요는 없다. 복잡한 새 문제에는 복잡한 새 솔루션이 필요한 경우가 많다. 10년 전부터 사용한 오래된 툴을 고수하는 것은 바람직한 방법이 아니다. 많은 기업이 오래된 툴을 사용하며 이로 인해 프로젝트가 실패한다”고 지적했다.

모리슨은 “스스로 발목을 잡지 말아야 한다. 더 많은 사일로를 생성하는 레거시 아키텍처를 버려야 한다”고 강조했다. 또한 모리슨은 기술 업체가 복잡한 시스템 문제를 대신 해결해줄 것이라고 기대하면 안 된다면서 “수십년 동안 많은 기업이 빅데이터 문제를 해결할 방법을 돈을 주고 살 수 있다고 생각했다. 모든 빅데이터 문제는 시스템 문제다. 복잡한 시스템 변경이 필요한 경우 그 방법을 기업 스스로 만들어야 한다”고 덧붙였다.  editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.