데이터ㆍ분석 / 애플리케이션

페이스북의 빅데이터 실용 조언, '하둡 만으로는 충분치 않다'

Chris Kanaracus | IDG News Service 2013.11.01
페이스북 애널리틱스 부문 수장 켄 루딘이 빅데이터에 대한 새로운 제언을 던졌다. 그는 비구조화된 대용량 데이터로부터 통찰을 이끌어내는데 있어 하둡이 유일한 도구가 아니라는 점을 기업들이 기억할 필요가 있다고 강조했다.

그는 29일 뉴욕에서 열린 스트라타 + 하둡 월드 컨퍼런스 키노트에서 "재고해야 할 빅데이터 통념들이 있다. 대표적인 것이 하둡을 채택해야만 한다는 것"이라며, "문제는 하둡이 그저 기술이라는 사실이다. 빅데이터는 기술이 전부가 아니다. 빅데이터는 기업 니즈에 대한 것이다"라고 말했다.

루딘은 이어 "기술 측면에서도 하둡과 관계형 데이터베이스, 여타 적합한 기술을 모두 다뤄야 한다"라고 덧붙였다.

페이스북의 비즈니스 모델은 10억 명의 사용자 프로필과 행동에 맞춰 적절한 광고를 전달하는 것이 핵심이다. 루딘은 "하둡이 우리에게 있어 늘 최고의 도구인 것은 아니다"라고 전했다.

예를 들어 하둡을 이용해 광범위한 탐색적 분석을 수행하는 것은 말이 되지만 발굴된 사실에 대해 운영적 분석 업무를 수행하는 데에서는 관계형 도구들이 더 우수하다고 그는 설명했다.

또 하둡은 데이터 세트에서 가장 낮은 수준의 정보를 탐색하는 업무에 적합하지만, 변환되고 수집된 데이터 저장에는 관계형 데이터베이스가 낫다고 그는 덧붙였다.

루딘은 "내가 말하고자 하는 핵심은 필요하다면 무엇이건 이용하라는 것"이라고 말했다.

빅데이터 자체에도 오해의 소지가 있다고 그는 말했다. 빅데이터를 분석하면 가치 있는 통찰이 나올 것이라는 믿음이 존재한다면서 그는 "올바르게 질문하는 것이 중요하다. 이는 여전히 예술의 영역이라고 할 수 있다"라고 말했다.

이를 위해 페이스북은 통계 뿐 아니라 비즈니스에 능통한 전문가를 찾는데 고심하고 있다고 그는 전했다. 그는 "후보자를 인터뷰할 때 측정값을 어떻게 계산할지를 묻는데 매몰되서는 안된다. 대신 업무 사례를 제시하고 가장 중요한 측정값이 무엇인지를 물어야 한다"라고 말했다.

루딘은 또 기업 내 모든 이들이 애널리틱스를 활용할 수 있도록 교육하는 것이 중요하다고 강조했다. 그에 따르면 페이스북은 2주 과정의 '데이터 캠프'를 운영해 직원들이 애널리틱스를 배우도록 조치하고 있다. 제품 관리자, 디자이너, 엔지니어, 심지어 재정 담당자들도 포함된다.

그는 "가치가 크다. 모든 이들이 문제를 토론할 수 있는 공통 언어를 마련해주는 것과 같다"라고 말했다.

조직 구조도 변화시켰다는 설명이다. 그는 별도의 통계 전문가 팀을 구성할 경우 그들은 흔히 "저만치에 앉아 기업 어딘가에서 요청이 오기를 기다린다"라며 통계 전문가들을 현업 부서에 배치하면 여러 그룹이 문제를 해결하려 하는 모습을 볼 수 있다고 전했다. ciokr@idg.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.