빅데이터가 아닌 '와이드 데이터'에 집중해야 하는 이유

데이터 그 자체가 조직에 통찰력을 제공해 줄 수 있는 빅데이터는 될 수 없다. 진짜 통찰력은 서로 다른 데이터 세트를 가져와 상관관계를 분석할 때 얻을 수 있기 때문이다.

빅데이터를 지향하는 현 시점에서 많은 기업들이 데이터 수집을 포켓몬 게임 다루듯이 닥치는 대로 쓸어 담고 있다. 하지만 다양한 플랫폼 마케팅 분석 전문기업 섬올(SumAll)의 CEO인 데인 앳킨슨은 대부분의 조직이 데이터에 대해 ‘크게’가 아니라 ‘넓게’ 생각해야 한다고 지적했다.

"진정한 데이터의 힘은 다양한 데이터 세트를 가져와 상관관계를 분석할 때 발휘된다"고 앳킨슨은 말했다. 이질적인 데이터 세트를 연계시켜야만 세상이 깜짝 놀랄 만한 사실을 발견할 수 있다는 것이다.

이 아이디어를 표현하기 위해 앳킨슨은 바다와 조수를 예로 들었다. 바다에서 조수가 어떻게 움직이는지 이해하기 위해서는 바다와 달 사이의 상관관계를 이해해야 한다고 설명했다.

"고립된 상태로는 원인을 찾을 수 없다"고 그가 말했다.

게다가 적절한 폭의 데이터(즉, 충분히 이질적인 데이터의 근원)을 갖추었다면 데이터의 양이 많지 않아도 효과적인 결과를 얻을 수 있다. 예를 들어, 공공의 이익을 위한 데이터 활용에 주력하는 비영리 조직인 SumAll.org를 통해 섬올은 뉴욕시와 비영리 조직 CAMBA가 무주택 상황을 해결하는 시범 프로젝트를 진행하고 있다.

살던 집에서 내몰린다고 해서 반드시 노숙을 하게 되는 것은 아니다. 하지만 퇴거 고지는 가족이 집을 잃게 되는 주요 원인 중 하나가 될 수 있다. 뉴욕에서 매년 약 20만 세대가 살던 집에서 쫓겨나고 있다. 빅데이터의 측면에서는 그리 대단한 수준의 기록은 아니다. 하지만 20만 세대 대부분이 퇴거 절차의 결과로써 무주택 상태에 놓일 위험이 있다는 점이 문제다.

섬올이 나서기 전 브룩클린(Booklyn)에서 노력을 기울였던 CAMBA는 매월 킹스 카운티 주거법원(Kings County Housing Court)에서 약 5,000건의 새로운 퇴거 사례 목록을 사람이 검토한 후, 서비스를 제공하는 지역에 거주하고 있는 세대에 자체 서비스에 관한 서신을 보냈다(월 약 400건 발송). 섬올의 도움과 데이터 지향 마케팅에서 차용한 일부 표적화 기법을 이용해 CAMBA는 목록을 크게 축소할 수 있었다.

우선 모든 사례의 지역 코드를 파악하여 CAMBA가 서비스를 제공하는 지역에 있는 것들만 추렸다. 그리고 나서 데이터를 ‘넓게’ 분석하여 세대가 ‘위험에’ 처해 있음을 알 수 있는 과거의 보호소 시스템 경험, 과거의 가정위탁 시스템 경험, 교육 수준, 고용 상태, 연령 등의 다양한 데이터 세트에서 데이터를 가져왔다. 이런 이질적인 데이터 세트를 상호 연계시킴으로써 섬올은 CAMBA가 가장 위험도가 높은 30~50건의 사례를 찾을 수 있도록 도왔다. 그 결과, CAMBA는 자원을 더욱 효율적으로 활용하여 해당 세대들을 도울 수 있었다.

궁극적으로 CAMBA는 시범 지역에서 50% 이상의 세대에 퇴거 예방 서비스를 제공할 수 있었다.

"이것이 와이드 데이터(Wide Data)의 진정한 힘이다. 이전에는 절대로 연계되지 않았던 영역들 사이의 상관관계를 보여준다"고 앳킨슨은 말했다.

실제로 앳킨슨은 와이드 데이터보다 빅데이터에 초점을 맞추면 데이터를 활용하기가 더욱 어려워진다고 말했다. 생성하는 모든 데이터를 수집하려는 요인이 그 활용을 크게 방해하기 때문이다.

"빅데이터를 끝 없이 수집하는 활동에는 많은 문제가 내재되어 있다"고 그는 말했다. "사람들은 저장소를 너무 깊게 구성하기 때문에 이에 대한 질문을 던질 수조차 없다. 우리의 파트너들 대부분은 엄청난 데이터를 보유하고 있지만 문제가 너무 커지기 때문에 제대로 활용하지 못했다"고 앳킨슨은 지적했다.

앳킨슨에 따르면, CIO들은 기술 지향적인 성향이 있기 때문에 이런 상황에 빠질 수 있다. 그들은 기업이 마음에 품고 답을 얻을 수 있는 질문을 던질 수 있는 데이터 인프라를 구축하고 싶어한다. 하지만 이런 ‘바닷물을 끓이는’ 식의 접근방법은 매우 느리며, 기다리는 동안 CMO같은 임원은 CIO를 우회하여 자신이 필요로 하는 툴에 접근하게 된다.

"CIO는 기술전문가일 뿐만 아니라 기업을 개선하기 위해 데이터를 활용하는 능동적인 주체가 돼야 한다"고 앳킨슨은 말했다. 그는 어떻게 하면 고객들이 데이터를 활용하도록 도울 수 있을까에 대해 고민했다.

"CMO는 일을 처리하면서 좌절을 맛보기도 한다"고 그는 덧붙여 말했다. "이제 마케팅 담당자들에게 도구란 모두 기술 툴이다. CIO를 놓쳤기 때문에 이제 기술 부문의 영업 아키텍처는 CMO를 직접 따르는 것이다"라고 주장했다.

그는 그 해답이 빅데이터에 관해 전혀 생각하지 않는 것이라고 말했다. 대신에 비즈니스 문제의 관점에서 생각해야 한다. 자신이 생각할 수 있는 가장 좁은 범위의 문제부터 시작하고 개선을 위해 자신이 데이터를 어떻게 활용할 수 있는지 판단하고 이를 반복하는 게 바로 그가 제시한 해답이다.

"우리가 실제로 대응할 수 있는 가장 간단한 문제는 무엇일까?"라고 그는 질문을 던졌다. "고객이 언제 화를 낼지 알 수 있을까? 이에 대비해 인프라를 구축하자. 데이터를 위한 파이프라인을 구축하고 데이터가 조직을 통과해 흘러가도록 계획하자. 조직이 이런 과정을 반복할 수 있도록 준비하자"고 그는 당부했다. ciokr@idg.co.kr