2015.04.20

글로벌 칼럼 | 머신러닝과 달콤한 가짜 약

Andrew C. Oliver | InfoWorld
데이터 비즈니스 쪽에서는 데이터에 머신러닝 기법을 도입하기 위해 하둡(Hadoop)이나 다른 데이터 도구에 관한 수요가 높다고 이야기한다. 그러나 대다수의 경우 이러한 일들이 일어나지 않는다. 대신, 머신러닝은 전략적인 가짜 약을 비축하는 데 가장 크게 헌신하고 있다.

머신러닝에 관한 정의는 우리가 이해할 수 있는 수준을 넘어섰다. 오늘날에는 일반적으로 “분석, 패턴인식, 인공지능”이라는 설명이 제시되고 있다.

머신러닝은 실재하는 것이며 유용하게 활용할 수 있는 기법이지만, 사실 금융업 이외의 비즈니스 영역에 머신러닝을 적용한 사례는 거의 없다. 지난주, '프리패키지(prepackaged) 알고리즘 솔루션이 빅데이터의 미래다'라는 글을 썼는데, 오늘날 이런 솔루션을 들여다보면 주로 추천 엔진 또는 사기 탐지와 같은 영역에서 머신러닝이 활용되고 있음을 찾아볼 수 있다.

우리에게 부재한 것은 더 나은 성능의 도구로 구현해왔다. 우리 인간에게 부족한 것은 창의력이다. 모든 산업은 종이의 전자화에서 벗어나, 지금은 근본적인 데이터 처리 방식에 대해 고민을 하고 있다.

데이터 비즈니스 업체들은 서로 경쟁하기도 하고, 오라클과 같은 대기업을 상대로 마케팅을 하기도 한다. 그러나 실질적으로 이 업체들의 적은 바로 마이크로소프트 엑셀이다. 데이터 센터 vs 클라우드 또는 하둡 vs 오라클 vs 빅데이터 vs 작은 데이터(small data) 간의 경쟁이 아니다. 실제로는 데이터 클라우드와 엑셀의 전쟁이다. 많은 기업들이 데이터를 분석한다고는 하지만, 엑셀의 함수와 데이터를 활용하는 수준을 못 벗어난 수준이다.

한편, 데이터 비즈니스 업체들은 플랫폼을 판매하면서 솔루션을 언급하길 좋아한다. 이들은 오로지 망치와 같은 수준의 장비를 구매하고 나면 집이 스스로 지어진다는 것과도 마찬가지의 말을 한다.

우리의 창의력은 소음 탐지 또는 신호 처리에서 변칙적인 점을 찾는 침입 탐지 알고리즘으로 회사가 더 많은 고객에게 마케팅할 수 있는 최신 서비스나 상품을 찾도록 설계하지 못하도록 가로막는다. 비록 인간의 창의력이 유효한 캠페인이나 상품을 만드는 데 필요할지라도, 올바른 구성에 적절한 구성을 배포했을 때에만 실질적인 수치를 가지고 주요 의사결정을 내릴 수 있게 된다.

금융 산업에서의 머신러닝은 단편적으로 유용한 예라고 볼 수 있다. 지난주 개최된 레드햇 파트너 컨퍼런스(Red hat Partner Conference)에서 현장 발표를 한 바 있다. 내 포트폴리오에 유동성 리스크(Liquidity Risk)가 있는지를 알아보기 위해 제이보스 데이터 그리드(JBoss Data Grid)의 데이터에 스파크로 몬테 카를로 시뮬레이션(Monte Carlo Simulation)을 한 것이다. 경제학에서 일반적으로 사용되는 몬테 카를로는 물리학에서 비롯됐다. 경제 쪽에서 머신러닝을 사용하는 것은 흔한 일이며, 심지어는 알고리즘으로 주식전략을 구현하기도 한다.

다른 비즈니스 영역에서 이 정도 수준의 머신러닝을 적용할 수 있을까? 향후 10년 또는 20년 내로 자가 운전 자동차가 나올 것이라는 예측은 할 수 있다. 스스로 주행하는 우주선이라든가 비행기는 이미 나와 있지 않은가. 그러나 어떤 영수증을 처리해야 하고, 청구서가 언제쯤 날라올 것인지를 알려주는 머신러닝 애플리케이션이 있기는 할까? 마이크로소프트 엑셀에서는 이를 구현할 수 있다.

실제로 머신러닝이 우리가 전략적 비즈니스 결정을 내리는 데 어떻게 도움을 줄까? 기술 솔루션이나 관리 컨설팅의 최종 결과물이 어떻게 될지는 알기는 힘들다. 기술적인 부분을 가져와야 하는지, 수학적인 부분인지, 또는 MBA에서 분기된 개념을 가져와야 하나? 대기업과 같은 곳에서 이 프로젝트는 누가 맡는가? 이는 연구개발(R&D)이 필요한 작업이다. 기계에 의한 비즈니스 의사 결정의 결과를 테스트하는 데 있어서 당신에게 필요한 스릴 있는 상황은 무엇일까?

이는 정말 어려운 일이며, 모든 사람이 처리할 수 있는 일도 아니다. 다만 더 정확하고, 자동화되어 쉽게 조작할 수 없는 의사 결정은 모든 산업에서 왕좌의 역할을 해낸다. editor@itworld.co.kr 


2015.04.20

글로벌 칼럼 | 머신러닝과 달콤한 가짜 약

Andrew C. Oliver | InfoWorld
데이터 비즈니스 쪽에서는 데이터에 머신러닝 기법을 도입하기 위해 하둡(Hadoop)이나 다른 데이터 도구에 관한 수요가 높다고 이야기한다. 그러나 대다수의 경우 이러한 일들이 일어나지 않는다. 대신, 머신러닝은 전략적인 가짜 약을 비축하는 데 가장 크게 헌신하고 있다.

머신러닝에 관한 정의는 우리가 이해할 수 있는 수준을 넘어섰다. 오늘날에는 일반적으로 “분석, 패턴인식, 인공지능”이라는 설명이 제시되고 있다.

머신러닝은 실재하는 것이며 유용하게 활용할 수 있는 기법이지만, 사실 금융업 이외의 비즈니스 영역에 머신러닝을 적용한 사례는 거의 없다. 지난주, '프리패키지(prepackaged) 알고리즘 솔루션이 빅데이터의 미래다'라는 글을 썼는데, 오늘날 이런 솔루션을 들여다보면 주로 추천 엔진 또는 사기 탐지와 같은 영역에서 머신러닝이 활용되고 있음을 찾아볼 수 있다.

우리에게 부재한 것은 더 나은 성능의 도구로 구현해왔다. 우리 인간에게 부족한 것은 창의력이다. 모든 산업은 종이의 전자화에서 벗어나, 지금은 근본적인 데이터 처리 방식에 대해 고민을 하고 있다.

데이터 비즈니스 업체들은 서로 경쟁하기도 하고, 오라클과 같은 대기업을 상대로 마케팅을 하기도 한다. 그러나 실질적으로 이 업체들의 적은 바로 마이크로소프트 엑셀이다. 데이터 센터 vs 클라우드 또는 하둡 vs 오라클 vs 빅데이터 vs 작은 데이터(small data) 간의 경쟁이 아니다. 실제로는 데이터 클라우드와 엑셀의 전쟁이다. 많은 기업들이 데이터를 분석한다고는 하지만, 엑셀의 함수와 데이터를 활용하는 수준을 못 벗어난 수준이다.

한편, 데이터 비즈니스 업체들은 플랫폼을 판매하면서 솔루션을 언급하길 좋아한다. 이들은 오로지 망치와 같은 수준의 장비를 구매하고 나면 집이 스스로 지어진다는 것과도 마찬가지의 말을 한다.

우리의 창의력은 소음 탐지 또는 신호 처리에서 변칙적인 점을 찾는 침입 탐지 알고리즘으로 회사가 더 많은 고객에게 마케팅할 수 있는 최신 서비스나 상품을 찾도록 설계하지 못하도록 가로막는다. 비록 인간의 창의력이 유효한 캠페인이나 상품을 만드는 데 필요할지라도, 올바른 구성에 적절한 구성을 배포했을 때에만 실질적인 수치를 가지고 주요 의사결정을 내릴 수 있게 된다.

금융 산업에서의 머신러닝은 단편적으로 유용한 예라고 볼 수 있다. 지난주 개최된 레드햇 파트너 컨퍼런스(Red hat Partner Conference)에서 현장 발표를 한 바 있다. 내 포트폴리오에 유동성 리스크(Liquidity Risk)가 있는지를 알아보기 위해 제이보스 데이터 그리드(JBoss Data Grid)의 데이터에 스파크로 몬테 카를로 시뮬레이션(Monte Carlo Simulation)을 한 것이다. 경제학에서 일반적으로 사용되는 몬테 카를로는 물리학에서 비롯됐다. 경제 쪽에서 머신러닝을 사용하는 것은 흔한 일이며, 심지어는 알고리즘으로 주식전략을 구현하기도 한다.

다른 비즈니스 영역에서 이 정도 수준의 머신러닝을 적용할 수 있을까? 향후 10년 또는 20년 내로 자가 운전 자동차가 나올 것이라는 예측은 할 수 있다. 스스로 주행하는 우주선이라든가 비행기는 이미 나와 있지 않은가. 그러나 어떤 영수증을 처리해야 하고, 청구서가 언제쯤 날라올 것인지를 알려주는 머신러닝 애플리케이션이 있기는 할까? 마이크로소프트 엑셀에서는 이를 구현할 수 있다.

실제로 머신러닝이 우리가 전략적 비즈니스 결정을 내리는 데 어떻게 도움을 줄까? 기술 솔루션이나 관리 컨설팅의 최종 결과물이 어떻게 될지는 알기는 힘들다. 기술적인 부분을 가져와야 하는지, 수학적인 부분인지, 또는 MBA에서 분기된 개념을 가져와야 하나? 대기업과 같은 곳에서 이 프로젝트는 누가 맡는가? 이는 연구개발(R&D)이 필요한 작업이다. 기계에 의한 비즈니스 의사 결정의 결과를 테스트하는 데 있어서 당신에게 필요한 스릴 있는 상황은 무엇일까?

이는 정말 어려운 일이며, 모든 사람이 처리할 수 있는 일도 아니다. 다만 더 정확하고, 자동화되어 쉽게 조작할 수 없는 의사 결정은 모든 산업에서 왕좌의 역할을 해낸다. editor@itworld.co.kr 


X