기업들은 매일 고객, 공급업체, 운영에 대한 엄청난 양의 정보를 생성하고 수집하고 있다. 게다가 이제 이 정보는 멀티미디어, 스마트폰, 소셜 네트워킹 사이트 등을 통해 이용할 수 있으며 우리는 그 어느 때보다도 데이터의 홍수 시대를 맞이하게 됐다.
기존의 데이터 저장 능력으로는 이러한 많은 양의 정보에 대처할 수 없지만 빅 데이터 기술을 이용해 점차 발전하고 있는 데이터 분석학과 더 나은 비즈니스 의사결정을 위해 이런 소중한 대규모 데이터에 접속하고 사용할 수 있게 됐다.
빅 데이터는 이미 우리 생활의 일부가 됐다. 가트너의 애널리스트들은 정보의 용량이 매년 최소 59%의 비율로 증가하고 있다고 주장했다. 최근 IDC의 디지털 유니버스(Digital Universe) 연구에 따르면 전 세계적으로 저장되는 데이터의 총 용량이 2020년까지 35 제타바이트(Zettabyte)에 달할 것이라고 한다(1 ZB= 1조 GB).
빅 데이터는 BI 영역에 변화를 가져오고 기업들에 소중한 데이터 자산을 제공하게 될 것이다. CIO들이 빅 데이터를 성공적으로 자사의 BI 솔루션에 결합하기 위해 따라야 할 조치들을 10단계를 소개한다.
1. 적절한 프로젝트를 찾아라
가장 중요한 단계는 빅 데이터를 시험할 적절한 프로젝트를 찾아내는 것이다. 이때 기술적 쟁점보다는 커뮤니케이션으로 풀 수 있는 방안이 필요하다. 해당 프로젝트가 반드시 기존의 기반 설비로는 충족시키지 못하는 직접적인 혜택이나 장점을 기업에 제공하도록 하면 경영진의 지원을 받을 수 있을 것이다.
2. 경영진의 지원을 받아라
빅 데이터는 데이터 저장 기술에 대한 기존의 투자를 보완한다. 경영진의 지원은 증거 기반의 전략의 가치에 대한 수용 여부에 달려있다. 그들은 이미 조직 내에서 데이터 웨어하우징과 데이터 마이닝을 광범위하게 사용하고 있기 때문이다.
3. 적임자를 찾아라
분산된 대규모의 데이터와 이와 관련된 하드웨어를 관리할 수 있는 매우 특별한 기술을 가진 전문가들이 필요하다. 다음은 그 모든 데이터를 이해할 수 있고 이를 비즈니스 환경에 적용할 수 있는 사람들이다. 데이터 과학자(Data Scientist)는 기존의 데이터 분석가 및 데이터 마이닝 전문가와는 다르게 생각해야 한다.
4. 오픈소스를 포용하라
빅 데이터는 툴셋(Toolset)에 관해 다르게 생각하고 오픈소스에 신속하게 적응하는 것을 의미한다. 전통적인 IT업체들에게서 굳이 해답을 찾을 필요는 없다. 대부분의 빅 데이터 툴은 소스가 공개돼 있다. 이 분야에서 혁신의 주체는 구글, 야후, 애플, 페이스북 등에서 일하는 똑똑한 사람들도 구성된 커뮤니티다.
5. 기술 발전을 지켜보며 추진하라
가장 널리 쓰이는 빅 데이터 툴은 클라우데라(Cloudera)나 EMC로부터 얻을 수 있는 오픈 소스 기술인 하둡(Hadoop)이다. 하둡은 데이터에 대한 대규모 배치 연산 수행의 복잡성을 낮추기 위해 개발된 것으로, 아파치 프로젝트 프레임워크 안에서 관리된다. 여기서 기업이 필요로 하는 기본적인 툴들을 얻을 수 있다. 주요 BI 업체들이 빅 데이터 기술에 대한 지원이나 이를 이용한 솔루션을 발표하고 있다.
6. 변화하는 아키텍처와 하드웨어에 대비하라
빅 데이터는 정보의 바다에서 활동하며 이 거대한 규모의 정보에 대한 분석을 수행할 뿐 아니라 데이터 창고의 근원이기도 하다. 기업은 소수의 대형 기계들에 대한 의존성을 낮추고 다수의 유용한 하드웨어와 클라우드 자원으로 눈을 돌릴 필요가 있을 것이다.
7. 소규모 표준 단위(Standard Unit)로 용량을 구매하라
IaaS 업체들과 클라우드 자원들을 활용하는 기관들은 적기에 시장에 진입할 수 있다는 엄청난 이점을 제공해 준다. 이 때 보안 문제와 우려는 보편적인 장애물이지만 충분히 극복할 수 있다. 더 자세한 정보는 cloudsecurity.org를 참조하기 바란다.
8. 사용하지 않는 데이터 소스를 찾아내라
예를 들면 자산의 웹 사이트로부터 수집하는 데이터를 살펴보자. 이를 통해 웹 페이지의 인기, 사이트에 있어서 가장 바쁜 시간대, 고객들이 사용하는 ISP 등에 관한 정보를 얻을 수 있다. 이런 정보를 마케팅과 영업에 활용할 수 있는지 여부를 조사해 보자.
9. 시각화에 주목하라
데이터를 제공하는 새로운 방법에 관해 생각해 보자. 그 용량 때문에 일부 빅 데이터 분석은 표나 도표를 이용해 수행할 수 없다. 에드워드 터프트(Edward Tufte)와 스티픈 퓨(Stephen Few)는 이 분야의 걸출한 저자들이다.
10. 기대치를 관리하라
빅 데이터는 대규모 분석과 장기적인 전략적 방향에 도움이 된다. 사용자들이 월별 경영 보고나 구조화된 데이터에 관한 애드혹(Ad-hoc) 쿼리를 기대하는 일이 없도록 하자. editor@itworld.co.kr
*Conrad Bates와 Cameron Wall은C3비즈니스 솔루션의 공동 창업자다.