불완전한 데이터와 합리적인 의사결정
다이아크코바가 앰플리파이 파트너(Amplify Partners)의 제너럴 파트너인 사라 카탄자로가 주고받은 대화를 보자. 카탄자로는 "데이터 전문가들을 보면, 처음엔 허술하지만 점점 정확하게 고쳐지는 보고서와 분석의 가치를 종종 놓치고 한다. 상당수 결정에는 매우 정확한 인사이트가 필요하지 않다. 약간은 허술한 데이터를 부끄러워할 필요가 없다"라고 말했다.의사결정을 위해 정확한 데이터가 필요한 것이 아니라는 점을 상기시킨 그의 지적은 일리가 있다. 2016년 우버에 인수된 머신러닝 전문 기업 지오메트릭 인텔리전스(Geometric Intelligence)의 설립자 게리 마커스는 AI와 머신러닝, 딥러닝을 평가하는 핵심 요소는 패턴 인식 툴이 대략의 결과가 필요한 순간에 제대로 잘 작동하는지 여부라고 말했다. 비용이 적게 들고 완벽한 결과를 내는 것은 성공을 판단하는 핵심 요소가 아니라는 것이다. 이런 지적에도, 더 강력한 AI 애플리케이션을 만들기 위해 우리는 점점 더 많은 데이터를 확보하는 데 매진하고 있다. 충분한 데이터를 제공하면 머신러닝 모델이 '대략의 결과'보다 더 좋은 성과를 낼 것이라고 기대하는 것이다.
그러나 안타깝게도, 현실은 이렇게 단순하지 않다. 많은 애플리케이션에서 더 많은 데이터가 도움이 될 수는 있겠지만 실제로는 더 많은 데이터가 필요치 않다. 대신 이미 우리가 가진 데이터를 더 잘 이해할 수 있는 사람이 훨씬 더 도움이 된다. 이에 대해 다이아크코바는 "제품 분석의 80%는 다소 허술해도 빠르게 진행한다. 하지만 이런 분석을 언제 할 것인가 판단하는 능력은 통계에 대한 매우 깊은 이해를 필요로 한다"라고 말했다. 인디드닷컴(Indeed.com)의 데이터 과학자 빈센트 다울링은 이를 더 명확하게 이야기했다. 그는 "노련한 분석가/과학자를 보유했을 때 가장 큰 장점은 의사결정에 필요한 데이터의 정확성을 결정할 수 있다는 점이다"라고 말했다.
이들이 공통으로 이야기하는 것이 바로 의사결정의 방법에 대한 것이다. 그리고 두 사례 모두 데이터를 들여다본 실무자의 경험이 데이터 자체보다 더 중요하다는 사실을 잘 보여준다. 기계는 절대로 인간이 하는 것과 같은 비효율적인 경험을 흉내 낼 수 없다. 가디언이 기사를 통해 지적한 것처럼, AI를 이용하면 기계가 데이터 속 패턴을 찾아내 사람보다 더 빠르게 의사결정할 수 있을 것으로 기대한다. 그러나 더 나쁜 결정을 더 빠르게 한다면 어떻게 될까? 인간이 데이터에 대해 사고하는 오너십을 포기하면 실제로 이런 일이 발생할 가능성이 높다. 결과적으로 기계는 자신을 위한 결정을 내리게 될 것이다.
더 적은 데이터, 더 많은 지식
하지만 현실 프로젝트에서 이런 작업에 더 많은 사람을 투입하는 것은 오히려 빼는 것보다 어렵다. 가트너 리서치 부사장 매쥬냇 배트에 따르면, AI는 인간이 기계를 학습시키기 위해 선택한 데이터에 영향을 받는다. 연쇄적으로 이 알고리즘 결과는 우리가 의사결정하는 데이터에 영향을 준다. 그는 "사람들은 데이터 형태로 현실을 소비하지만, 데이터는 변화, 변환할 수 있고 소비하기 편리한 형태로 이름을 붙일 수 있다. 결국 인간은 세계의 매우 조작된 시선, 제한된 범위 내에서 살아갈 수밖에 없다"라고 말했다.아마존의 과학자 유진 얀은 "성공적인 머신러닝 프로젝트를 위해서는 데이터가 필요하다. 데이터 흐름을 지원할 수 있는 더 강력한 파이프라인도 있어야 한다. 그러나 무엇보다 중요한 것은 각 데이터에 정확하게 붙인 이름 즉 라벨이 필요하다"라고 말했다. 하지만 숙련된 사람 없이는 적절하게 라벨을 붙인 데이터를 확보하는 것은 불가능하다. 라벨을 붙이기 위해서라도 데이터를 이해해야 하는 것이다.
십여 년 전 가트너 애널리스트 스블라나 시컬의 지적에 다시 주목해야 하는 것도 바로 이 지점이다. 그는 "기업에는 사업 내용의 행간까지 읽을 수 있는 직원이 많다. 이들 직원은 기업 데이터에 요구할 수 있는 적절한 문제를 찾는 데 최적화돼 있다"라고 말했다. 당시에 부족한 것이 있었다면 다이아크코바가 지적한 것처럼 통계에 대한 이해일 것이다. 즉 충분히 의미 있는 결과를 내기 위해 '어느 정도면 충분한지' 판단하는 능력이다.
데이터 과학이 어려운 것도 바로 이 때문이다. AI/ML 도입의 어려움을 묻는 모든 설문조사에서, '인재'가 항상 1위인 것도 같은 맥락이다. 단순히 데이터 과학자의 부족이라고 쉽게 정리할 수도 있지만, 지금 우리가 가장 걱정해야 할 것은 그게 아닐 수 있다. 바로 통계와 수학 그리고 기업의 사업 내용에 대한 기본적인 이해의 부족이다.
editor@itworld.co.kr