빅데이터, 이제 미래를 예측한다...한국IDG 비즈니스 임팩트 & 빅데이터 컨퍼런스

"최근 빅데이터는 과거를 분석하는 것이 아니라 현재와 미래를 예측한다."
2월 19일 한국 IDG가 개최한 비즈니스 임팩트 & 빅데이터 2014 컨퍼런스에서 클라크 패터슨 클라우데라 마케팅 수석 이사는 500명의 청중 앞에서 빅데이터의 최신 동향과 활용 사례들을 설명했다.

패터슨 이사는 "지금까지 사람들은 빅데이터를 활용하는데 과거 데이터를 분석해 의사 결정에 도움을 주는 것에 초점을 맞췄다면 최근에는 미래를 위한 서비스 개선, 품질 향상 등을 목표로 이뤄지고 있다"고 말했다.

또한 "빅데이터 활용의 목적은 좀더 경쟁력있는 기업으로 성공하는 것"이라며, 항공업, 소매업, 의학, 보험 등 산업별로 다양한 사례를 설명했다.

패터슨 이사는 네 가지 관점에서 기존 데이터 관리의 한계를 지적했다.

- 가시성 문제: 현재 데이터 소비자들이 자신이 볼 수 있느 데이터가 뭔지 모른다.
- 데이터 적시성 문제: 데이터가 데이터 소비자에게 이르기까지 많은 시간이 걸린다. 특히 데이터를 분석, 가공해 사용자에게 이르기까지 많은 시간이 걸린다.
- 분석 비용 문제: 현재도 많은 기업들이 데이터 분석하고 있지만 굉장히 비용이 든다. 또한 비용 문제로 스토리지를 계속 확장할 수만은 없다.
- 복잡한 아키텍처 문제: 현재 기업들은 복잡한 시스템과 아키텍처를 보유하고 있으며, 이에 따라 각각의 데이터를 사용하고 있다.

패터슨은 이런 난제들을 새로운 빅데이터 기술로 해결해야 하는데, 현실적으로 그 과정은 그리 쉽지는 않기 때문에 로드맵이 필요하다고 말했다. 이런 여정은 스토리지 비용 절감, ETL 가속화, EDW 최적화, 탐색, 데이터 과학, 360도 관점 통합 등 총 6단계로 구분할 수 있다.

빅데이터 활용, 기업경쟁력과 비즈니스 기회 제공의 주요 요소
지난 3년동안 빅데이터는 전 산업군에서 최대의 화두로 자리잡았다. 빅데이터 활용은 오늘날 기업 경쟁력 강화와 비즈니스 기회를 제공하는 주요 요소로 떠올랐다.

특히 글로벌 기업을 위시한 수많은 기업들이 빅데이터 분석을 통해 실질적인 수익 증대 효과와 서비스 개선, 경영 효율을 높이고 있다. 그러나 국내에서는 아직 가시적인 성과를 거두는 기업들이 많지 않다. 또한 성과를 거둔 기업들은 자사의 경쟁력으로 판단하고 밖으로 드러내지 않는다.

30여 곳의 국내 빅데이터 관련 전문업체들이 결성한 빅데이터 기업 협의회 강용성 회장은 "과거 기업들이 ERP, 포털 도입 사례를 외부에 발표했던 것과는 달리 빅데이터의 경우는 성공 사례 발표를 꺼리고 있다"며, "이는 공공기관과는 달리 기업들은 이 성공사례들이 자사의 비즈니스 노하우와 연관성이 있고, 기업의 생존과 경쟁력에 직결되는 것으로 판단하기 때문"이라고 설명했다.

강용성 회장은 선진 빅데이터 기술과 성공 사례가 중요하지만 국내 시장 특성에 맞는 빅데이터 도입이 필요하며, 이를 위해 국내 전문업체들의 활약이 중요하다고 말했다.

이와 함께 월마트의 빅데이터 전략과 비즈니스를 위한 크라우드 소싱 사례를 강연한 월마트랩스 디그비제이 람바 수석 이사는 빅데이터를 어떻게 비즈니스 변화에 이용하고 있는지, 프로세스를 통해 현업 사용자들이 의사결정을 할 수 있도록 도와주는 방법론 등을 설명했다.

람바 수석 이사는 제품 가격을 어떻게 설정하고, 홍보시 가장 좋은 이미지가 어떤 것인지 판단하는, 즉 의사결정 방법을 어떻게 돕는 지를 통해 빅데이터 활용 방법을 풀어나갔다.

월마트는 기업 내외부의 데이터를 사용자의 성향과 성숙도에 따라 다르게 사용해왔다. 월마트는 엄청나게 많은 룰을 위험도와 신뢰도를 기준으로 분류 체계를 만들고 이를 통해 의사 결정을 실행하고 이를 통한 피드백을 모아 다시 룰에 적용하는 프로세스를 갖고 있다.

초기에는 룰의 정확도가 그리 높지 않았지만, 많은 사람들의 의견이 반영된 룰 피드백을 통해 룰을 수정해 나가면서 서서히 정확도와 신뢰도를 높여갔다.

람바는 수백만 개의 룰을 통해 의사결정이 자동화되고 정확도를 높이기 위해서는 룰에 대한 피드백이 가장 중요하며, 이는 개별 룰들을 좀더 자세한 룰을 만들 수 있다"며, "룰 피드백이 없이는 정교한 룰을 만들 수 없다"고 말했다.

이후 컨퍼런스는 액티비오 아태지역 솔루션 엔지니어링 그룹 총괄인 앤쏘니 반더웰트 매니저가 나와 카피 데이터 가상화에서의 빅데이터 활용에 대해 강연했다.

이와 함께 데이터를 자사의 비즈니스에 어떻게 효과적으로 가치있게 활용할 지에 대한 실제적인 전략 수립과 빅데이터 활용과 가치 창출 전략에 대해 kt 넥스알 최성호 부장, 인포메티카 임정혜 부장, 마이크로스트레티지 정경후 차장, IBM 박송미 실장, 맵R 잔 번스 솔루션아키텍트, HP 홍섭 부장 등 빅데이터 업계 전문가들이 강연을 맡았다.

이 컨퍼런스에서 대미를 장식한 것은 오후에 있었던 코오롱인더스트리, 삼성전자, 핀터레스트 3개의 활용 사례였다.

코오롱인더스트리 FnC부문 빅데이터팀 하상호 부장은 패션 비즈니스에서 빅데이터 활용과 향후 기대효과에 대해 강연하면서 고객 및 내외부 데이터 분석을 통한 판매량 예측과 상품 전략 수립에 대한 사례를 설명했다.

특히 빅데이터의 일반론과 국내 패션 시장에서의 특수성과의 상관관계를 적절히 추출하고 이를 통해 패턴 분석을 통한 시즌 판매량을 예측할 수 있게 됐다. 또한 하상호 부장은 한번 적용한 것이 완성품이 아니라 시나리오와 테스트를 끊임없이 계속함에 따라 솔루션은 지속적으로 발전할 것이라고 설명했다. 또한 빅데이터 프로젝트에는 최고 경영자의 장기적인 전망이 무시못할 성공 요소가 될 것이라고 말했다.

삼성전자 메모리 사업부의 서정치 부장이 빅데이터 분석을 활용한 글로벌 마케팅 성공 사례를 발표했다. 핀터레스트 소프트웨어 엔지니어인 바룬 샤르마는 대용량 데이터를 실시간으로 처리해야 하는 특성을 가진 핀터레스트의 아파치 하둡과 H베이스를 활용한 사례를 발표했다.

약 500명의 현업 사용자와 IT 전문가들이 컨퍼런스 장을 가득 채운 가운데, 한국IDG 박형미 대표이사는 모두 연설에서 "빅데이터가 빅 이슈로 자리잡고 관련 시장이 급속도로 성장하고 있다"며, "참석자들은 실제적인 빅데이터 사례를 통해 마케팅 및 영업, 상품기획, 서비스 개선, 경영전략 수립, 신사업 개발, 고객 관계 개선 등을 이뤄내 비즈니스 경쟁력 강화에 도움이 됐으면 한다"고 말했다. editor@itworld.co.kr