2013.07.12

링크드인 데이터 과학자가 전하는 '3가지 빅 데이터 조언'

Brian Cheon | CIO Korea
"아마존은 '이 상품을 구매한 이들이 또한 구매한 것'에 대한 정보를 분석해 노출함으로써 1분기만에 29%의 매출 성장을 이뤄냈다."

"넷플릭스는 사용자 평점을 기반으로 시청자의 선호도에 부합하는 영화 콘텐츠를 노출했다. 그 결과 시청자의 75%가 추천 콘텐츠를 시청하고 있다."

"교통정보 업체 웨이즈는 사용자 교통 데이터를 분석해 제공함으로써 18개월만에 4,000만 명의 사용자를 확보했다."

링크드인의 수석 데이터 과학자 비탈리 고든이 전한 빅 데이터 성공 사례들이다.

빅 데이터에 대한 실용적 고민이 증가하고 있는 가운데, 한국IDG가 주최한 '비즈니스 임팩트 & 빅 데이터 2013' 컨퍼런스가 7월 10일 역삼동 리츠 칼튼 호텔에서 500여 명이 참석한 열띤 분위기 속에서 열렸다.

고든은 이번 컨퍼런스에서 이들 3사의 사례 외에 세계 최대의 전문가 네트워크로 성장한 링크드인의 빅 데이터 활용 사례와 그로부터 얻은 교훈을 상세히 공유했다.

고든이 전하는 첫번째 조언은 '빅 데이터는 데이터 자체보다는 기업 비즈니스에 대한 것임을 명심하라'는 것이다. 고든은 기업의 빅 데이터 활용이 기술 프로젝트로 출발한 것이 아니며, 기업의 본질적 서비스를 향상시키고 매출을 일으키기 위한 것이었음을 강조했다. 이어 이와 관련해 링크드인의 프리미엄 서비스와 기업의 매출 구조, 마케팅 솔루션, 탤런트 솔루션 등에 대해 설명했다.

두번째 조언은 '작게 시작하고 성공과 함께 키워나가라'라는 것이다. 설명에 따르면 링크드인의 짐비(Jobs You May Be Interested In, JYMBII) 상품은 '디자인', '알고리즘', '프레임워크' 등 3가지 기둥을 필요로 했다.

고든은 먼저 디자인과 관련, 초기에는 단순한 이메일로, 이후에는 위젯으로 시작해 1,000배 이상으로 사용자가 확장된 후에야 웹 페이지에 별도 세션을 마련했던 점을 거론했다.

이는 알고리즘에서도 마찬가지였다는 설명이다. 사용자 프로필의 단순한 텍스트 분석 만으로도 사용자가 관심있어할 만한 직종을 추천하는 알고리즘을 초기 구축하기에 무리가 없었다고 전하며, 비즈니스가 성장함에 따라 알고리즘을 점차 개선해나갔다고 전했다.

기술 인프라 또한 같은 궤적을 밟았다. 고든은 먼저 "빅 데이터 문제에 직면한 이들 가운데 몇몇은 하둡을 이용해야겠다고 생각한다. 이제 그들은 빅 데이터 문제와 함께 빅 하둡 클러스터 문제와도 씨름하게 된다"라는 트위터 엔지니어링 매니저의 발언을 인용했다.

고든은 링크드인의 경우 최초 오라클 데이터베이스와 펄(Perl)로 구성된 터무니없어 보이는 솔루션으로 분석을 시작했다면서 비즈니스의 성장과 함께 그린플럼(Greenplum)과 애스터 데이터(aster data)를 거쳐 하둡, 카프카 등의 현 시스템으로 진화했다는 점을 강조했다.

고든이 전한 마지막 조언은 '인력 확보'에 대한 것이었다. 그는 데이터 전문가, 데이터 과학자에 대한 기업들의 수요가 급증하고 있다는 사실을 그래프와 함께 설명하며, "데이터 과학자가 기업 문을 스스로 노크하는 경우는 일어나지 않는다"라고 단언했다.

고든은 이어 링크드인이 필요한 인력을 확충하기 위해 '레이더 신호 프로세싱', '데이터센터 간 디스크 배포 알고리즘 개선' 등의 경력을 지닌 이들을 과감히 채용해 데이터 전문가로 성장시킨 점을 거론했다.

고든은 "내부적으로 전문가를 키워내는 방안을 검토해야만 한다"라고 권고했다.

빅 데이터 조리법

이 밖에 고든은 빅 데이터 전략을 준비 중인 기업이 참고할 만한 실용 조언을 레시피의 비유로 설명했다.

고든은 먼저 빅 데이터 이니셔티브에 필요한 정보를 지목했다. '중요한 비즈니스 메트릭스', '상관관계의 요소', '인과관계의 요소', '행동에 영향을 미치는 제품'이 그것이다.

고든은 "이들 요소들 파악하고 개발하는 것이 재료에 해당한다"라고 설명했다.

그는 이어 빅 데이터 전략을 개발하는 방법론과 관련해서는 '단순한 프로토타입 개발' -> '효과 측정' -> '로직 개선 및 규모 확장' -> '효과 측정' -> '로직 개선 및 규모 확장' -> '효과 측정'이라고 전했다. 작게 시작해 비즈니스의 성공과 함께 키워가라는 앞서의 조언과 일맥상통하는 부분이다.

한편 이번 컨퍼런스에서는 코카콜라 저스틴 호나만 부사장이 빅 데이터 경영 전략에 대해 코카콜라의 사례를 들어 설명했으며 서울대학교 빅데이터센터 부센터장 조성준 교수가 다양한 분야에서의 빅 데이터 분석 사례와 함께 구체적인 빅 데이터 액션 플랜을 제시했다.

오후 트랙 세션에서는 델 코리아, 이글로벌시스템, 마이크로스트래티지, 와이즈넛 등의 빅 데이터 전문기업들이 빅 데이터 솔루션에 대한 설명을 이어갔으며, 퀀텀과 한국인포매티카가 빅 데이터 시대 데이터 저장 및 관리, 통합 방안 등에 대해 조언했다.

이 밖에 한국남동발전, CJ 오쇼핑, SK 플래닛 등의 기업에서는 빅 데이터를 실제 비즈니스에 활용하는 사례와 노하우에 대해 공개했다. ciokr@idg.co.kr


2013.07.12

링크드인 데이터 과학자가 전하는 '3가지 빅 데이터 조언'

Brian Cheon | CIO Korea
"아마존은 '이 상품을 구매한 이들이 또한 구매한 것'에 대한 정보를 분석해 노출함으로써 1분기만에 29%의 매출 성장을 이뤄냈다."

"넷플릭스는 사용자 평점을 기반으로 시청자의 선호도에 부합하는 영화 콘텐츠를 노출했다. 그 결과 시청자의 75%가 추천 콘텐츠를 시청하고 있다."

"교통정보 업체 웨이즈는 사용자 교통 데이터를 분석해 제공함으로써 18개월만에 4,000만 명의 사용자를 확보했다."

링크드인의 수석 데이터 과학자 비탈리 고든이 전한 빅 데이터 성공 사례들이다.

빅 데이터에 대한 실용적 고민이 증가하고 있는 가운데, 한국IDG가 주최한 '비즈니스 임팩트 & 빅 데이터 2013' 컨퍼런스가 7월 10일 역삼동 리츠 칼튼 호텔에서 500여 명이 참석한 열띤 분위기 속에서 열렸다.

고든은 이번 컨퍼런스에서 이들 3사의 사례 외에 세계 최대의 전문가 네트워크로 성장한 링크드인의 빅 데이터 활용 사례와 그로부터 얻은 교훈을 상세히 공유했다.

고든이 전하는 첫번째 조언은 '빅 데이터는 데이터 자체보다는 기업 비즈니스에 대한 것임을 명심하라'는 것이다. 고든은 기업의 빅 데이터 활용이 기술 프로젝트로 출발한 것이 아니며, 기업의 본질적 서비스를 향상시키고 매출을 일으키기 위한 것이었음을 강조했다. 이어 이와 관련해 링크드인의 프리미엄 서비스와 기업의 매출 구조, 마케팅 솔루션, 탤런트 솔루션 등에 대해 설명했다.

두번째 조언은 '작게 시작하고 성공과 함께 키워나가라'라는 것이다. 설명에 따르면 링크드인의 짐비(Jobs You May Be Interested In, JYMBII) 상품은 '디자인', '알고리즘', '프레임워크' 등 3가지 기둥을 필요로 했다.

고든은 먼저 디자인과 관련, 초기에는 단순한 이메일로, 이후에는 위젯으로 시작해 1,000배 이상으로 사용자가 확장된 후에야 웹 페이지에 별도 세션을 마련했던 점을 거론했다.

이는 알고리즘에서도 마찬가지였다는 설명이다. 사용자 프로필의 단순한 텍스트 분석 만으로도 사용자가 관심있어할 만한 직종을 추천하는 알고리즘을 초기 구축하기에 무리가 없었다고 전하며, 비즈니스가 성장함에 따라 알고리즘을 점차 개선해나갔다고 전했다.

기술 인프라 또한 같은 궤적을 밟았다. 고든은 먼저 "빅 데이터 문제에 직면한 이들 가운데 몇몇은 하둡을 이용해야겠다고 생각한다. 이제 그들은 빅 데이터 문제와 함께 빅 하둡 클러스터 문제와도 씨름하게 된다"라는 트위터 엔지니어링 매니저의 발언을 인용했다.

고든은 링크드인의 경우 최초 오라클 데이터베이스와 펄(Perl)로 구성된 터무니없어 보이는 솔루션으로 분석을 시작했다면서 비즈니스의 성장과 함께 그린플럼(Greenplum)과 애스터 데이터(aster data)를 거쳐 하둡, 카프카 등의 현 시스템으로 진화했다는 점을 강조했다.

고든이 전한 마지막 조언은 '인력 확보'에 대한 것이었다. 그는 데이터 전문가, 데이터 과학자에 대한 기업들의 수요가 급증하고 있다는 사실을 그래프와 함께 설명하며, "데이터 과학자가 기업 문을 스스로 노크하는 경우는 일어나지 않는다"라고 단언했다.

고든은 이어 링크드인이 필요한 인력을 확충하기 위해 '레이더 신호 프로세싱', '데이터센터 간 디스크 배포 알고리즘 개선' 등의 경력을 지닌 이들을 과감히 채용해 데이터 전문가로 성장시킨 점을 거론했다.

고든은 "내부적으로 전문가를 키워내는 방안을 검토해야만 한다"라고 권고했다.

빅 데이터 조리법

이 밖에 고든은 빅 데이터 전략을 준비 중인 기업이 참고할 만한 실용 조언을 레시피의 비유로 설명했다.

고든은 먼저 빅 데이터 이니셔티브에 필요한 정보를 지목했다. '중요한 비즈니스 메트릭스', '상관관계의 요소', '인과관계의 요소', '행동에 영향을 미치는 제품'이 그것이다.

고든은 "이들 요소들 파악하고 개발하는 것이 재료에 해당한다"라고 설명했다.

그는 이어 빅 데이터 전략을 개발하는 방법론과 관련해서는 '단순한 프로토타입 개발' -> '효과 측정' -> '로직 개선 및 규모 확장' -> '효과 측정' -> '로직 개선 및 규모 확장' -> '효과 측정'이라고 전했다. 작게 시작해 비즈니스의 성공과 함께 키워가라는 앞서의 조언과 일맥상통하는 부분이다.

한편 이번 컨퍼런스에서는 코카콜라 저스틴 호나만 부사장이 빅 데이터 경영 전략에 대해 코카콜라의 사례를 들어 설명했으며 서울대학교 빅데이터센터 부센터장 조성준 교수가 다양한 분야에서의 빅 데이터 분석 사례와 함께 구체적인 빅 데이터 액션 플랜을 제시했다.

오후 트랙 세션에서는 델 코리아, 이글로벌시스템, 마이크로스트래티지, 와이즈넛 등의 빅 데이터 전문기업들이 빅 데이터 솔루션에 대한 설명을 이어갔으며, 퀀텀과 한국인포매티카가 빅 데이터 시대 데이터 저장 및 관리, 통합 방안 등에 대해 조언했다.

이 밖에 한국남동발전, CJ 오쇼핑, SK 플래닛 등의 기업에서는 빅 데이터를 실제 비즈니스에 활용하는 사례와 노하우에 대해 공개했다. ciokr@idg.co.kr


X