AIㆍML / 데이터ㆍ분석

글로벌 칼럼 | AI/ML 학습용 데이터, 어느 정도가 충분한 것일까

Matt Asay | InfoWorld 2022.09.13
인공지능(AI)의 한계이자 미래는 결국 사람이다. 사람 같은 로봇의 등장을 기대하든 우려하든 상관없이 결국 이 문제가 사람에 달렸다는 사실은 변한 적이 없다. AI 그리고 데이터 과학에서 가장 이상적인 해법은 사람과 기계의 장점을 합치는 것이다. 한동안 AI 업계의 지지자들은 이 방정식의 기계 쪽에 집중하는 경향을 보였다. 하지만 스프링 헬스(Spring Health)의 데이터 과학자 엘레나 다이아크코바에 따르면, 데이터와 그 이면에 있는 기계는 사람이 유용하다고 '이해하는 만큼만' 쓸모가 있다. 이 주제를 더 진전시켜 보자.
 
ⓒ Getty Images Bank
 

불완전한 데이터와 합리적인 의사결정

다이아크코바가 앰플리파이 파트너(Amplify Partners)의 제너럴 파트너인 사라 카탄자로가 주고받은 대화를 보자. 카탄자로는 "데이터 전문가들을 보면, 처음엔 허술하지만 점점 정확하게 고쳐지는 보고서와 분석의 가치를 종종 놓치고 한다. 상당수 결정에는 매우 정확한 인사이트가 필요하지 않다. 약간은 허술한 데이터를 부끄러워할 필요가 없다"라고 말했다.

의사결정을 위해 정확한 데이터가 필요한 것이 아니라는 점을 상기시킨 그의 지적은 일리가 있다. 2016년 우버에 인수된 머신러닝 전문 기업 지오메트릭 인텔리전스(Geometric Intelligence)의 설립자 게리 마커스는 AI와 머신러닝, 딥러닝을 평가하는 핵심 요소는 패턴 인식 툴이 대략의 결과가 필요한 순간에 제대로 잘 작동하는지 여부라고 말했다. 비용이 적게 들고 완벽한 결과를 내는 것은 성공을 판단하는 핵심 요소가 아니라는 것이다. 이런 지적에도, 더 강력한 AI 애플리케이션을 만들기 위해 우리는 점점 더 많은 데이터를 확보하는 데 매진하고 있다. 충분한 데이터를 제공하면 머신러닝 모델이 '대략의 결과'보다 더 좋은 성과를 낼 것이라고 기대하는 것이다.

그러나 안타깝게도, 현실은 이렇게 단순하지 않다. 많은 애플리케이션에서 더 많은 데이터가 도움이 될 수는 있겠지만 실제로는 더 많은 데이터가 필요치 않다. 대신 이미 우리가 가진 데이터를 더 잘 이해할 수 있는 사람이 훨씬 더 도움이 된다. 이에 대해 다이아크코바는 "제품 분석의 80%는 다소 허술해도 빠르게 진행한다. 하지만 이런 분석을 언제 할 것인가 판단하는 능력은 통계에 대한 매우 깊은 이해를 필요로 한다"라고 말했다. 인디드닷컴(Indeed.com)의 데이터 과학자 빈센트 다울링은 이를 더 명확하게 이야기했다. 그는 "노련한 분석가/과학자를 보유했을 때 가장 큰 장점은 의사결정에 필요한 데이터의 정확성을 결정할 수 있다는 점이다"라고 말했다.

이들이 공통으로 이야기하는 것이 바로 의사결정의 방법에 대한 것이다. 그리고 두 사례 모두 데이터를 들여다본 실무자의 경험이 데이터 자체보다 더 중요하다는 사실을 잘 보여준다. 기계는 절대로 인간이 하는 것과 같은 비효율적인 경험을 흉내 낼 수 없다. 가디언이 기사를 통해 지적한 것처럼, AI를 이용하면 기계가 데이터 속 패턴을 찾아내 사람보다 더 빠르게 의사결정할 수 있을 것으로 기대한다. 그러나 더 나쁜 결정을 더 빠르게 한다면 어떻게 될까? 인간이 데이터에 대해 사고하는 오너십을 포기하면 실제로 이런 일이 발생할 가능성이 높다. 결과적으로 기계는 자신을 위한 결정을 내리게 될 것이다.
 

더 적은 데이터, 더 많은 지식

하지만 현실 프로젝트에서 이런 작업에 더 많은 사람을 투입하는 것은 오히려 빼는 것보다 어렵다. 가트너 리서치 부사장 매쥬냇 배트에 따르면, AI는 인간이 기계를 학습시키기 위해 선택한 데이터에 영향을 받는다. 연쇄적으로 이 알고리즘 결과는 우리가 의사결정하는 데이터에 영향을 준다. 그는 "사람들은 데이터 형태로 현실을 소비하지만, 데이터는 변화, 변환할 수 있고 소비하기 편리한 형태로 이름을 붙일 수 있다. 결국 인간은 세계의 매우 조작된 시선, 제한된 범위 내에서 살아갈 수밖에 없다"라고 말했다.

아마존의 과학자 유진 얀은 "성공적인 머신러닝 프로젝트를 위해서는 데이터가 필요하다. 데이터 흐름을 지원할 수 있는 더 강력한 파이프라인도 있어야 한다. 그러나 무엇보다 중요한 것은 각 데이터에 정확하게 붙인 이름 즉 라벨이 필요하다"라고 말했다. 하지만 숙련된 사람 없이는 적절하게 라벨을 붙인 데이터를 확보하는 것은 불가능하다. 라벨을 붙이기 위해서라도 데이터를 이해해야 하는 것이다.

십여 년 전 가트너 애널리스트 스블라나 시컬의 지적에 다시 주목해야 하는 것도 바로 이 지점이다. 그는 "기업에는 사업 내용의 행간까지 읽을 수 있는 직원이 많다. 이들 직원은 기업 데이터에 요구할 수 있는 적절한 문제를 찾는 데 최적화돼 있다"라고 말했다. 당시에 부족한 것이 있었다면 다이아크코바가 지적한 것처럼 통계에 대한 이해일 것이다. 즉 충분히 의미 있는 결과를 내기 위해 '어느 정도면 충분한지' 판단하는 능력이다.

데이터 과학이 어려운 것도 바로 이 때문이다. AI/ML 도입의 어려움을 묻는 모든 설문조사에서, '인재'가 항상 1위인 것도 같은 맥락이다. 단순히 데이터 과학자의 부족이라고 쉽게 정리할 수도 있지만, 지금 우리가 가장 걱정해야 할 것은 그게 아닐 수 있다. 바로 통계와 수학 그리고 기업의 사업 내용에 대한 기본적인 이해의 부족이다.
editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.