AIㆍML / IT 관리

AI 투자가 실패로 끝나는 이유

Steve Nunez | InfoWorld 2021.11.18
최근 2건의 가트너 보고서에 따르면 인공지능(AI)과 머신러닝(ML) 프로젝트 중 85%가 실패하고 있으며, 53%만이 프로토타입에서 프로덕션으로 전환되고 있다. 하지만 두 보고서 모두 AI 투자가 둔화될 조짐은 거의 나타나지 않는다. 많은 기업이 AI 투자를 늘릴 계획이다.
 
ⓒ Getty Images Bank

AI 투자 실패를 방지하기 위해서는 약간의 상식적인 비즈니스 사고가 필요하다. 강력한 투자 유인에는 FOMO(Fear Of Missing Out)와 대규모 마케팅 예산을 보유한 AI 기업의 허황된 VC 투자 거품, AI 기반 의사결정 활용 및 데이터 기반 기업으로의 전환에 대한 필요성 인식이 포함된다.

AI나 ML 프로젝트를 데이터베이스 업그레이드 및 새 CRM 채택처럼 1회성으로 생각하지 않고 AI를 구시대적인 자본 투자로 생각하는 것이 가장 좋다. 제조사가 비싼 기계 구매를 정당화하는 방식처럼 말이다.

제조사는 많은 기업이 AI와 ML에 대해 생각하는 것처럼 기계를 멋진 새 장난감으로 취급하지는 않을 것이다. 구매 결정에 있어 바닥 면적, 예비 부품, 유지보수, 직원 교육, 제품 설계, 신규 및 개선 제품을 위한 마케팅 및 분산 채널을 고려할 것이다. 새 AI 및 ML 시스템을 기업에 적용할 때도 동일한 고민을 해야 한다.

기업이 AI와 ML에 투자할 때 공통적으로 범하는 6가지 실수를 알아보자.
 

말보다 마차를 앞세우기

해결해야 할 문제를 알지 못하는 상황에서 애널리틱스 프로그램에 뛰어드는 일은 실패를 초래한다. 방해 요소가 너무 많으면 방심하기 쉽다. 자율주행 자동차와 얼굴 인식, 자동 주행 드론 등은 최신 장난감에 해당되며, 가지고 놀고 싶은 것은 당연하다. AI와 ML이 제공하는 ‘더 나은 결정을 만든다’라는 핵심적인 비즈니스 가치를 잊지 않아야 한다.

데이터 기반 의사결정은 새로운 것이 아니다. 세계 최초의 ‘데이터 사이언티스트’라고 주장하는 로널드 피셔는 1926년에 발행한 ‘현장 실험의 배열(The Arrangement of Field Experiments)’에서 데이터 기반 의사결정의 본질에 대한 개요를 10페이지로 짧게 서술했다. 운영 조사, 6시그마, 에드워즈 데밍(Edwards Deming)과 같은 통계학자의 작업은 프로세스 변화를 정량화 하는 수단으로 통계적으로 계산된 한계에 대응해 데이터 분석의 중요성을 보여준다.

요약하면, AI와 ML을 새로운 비즈니스 기회가 아닌 기존 비즈니스 프로세스를 개선하는 수단으로 봐야한다. 먼저 프로세스에서 결정 요인을 분석하고 “이 결정을 x% 개선할 수 있다면 결과적으로 어떤 영향을 미칠까?”라고 질문을 던져야 한다.
 

조직의 변화 무시하기

변화 관리 구현의 어려움은 전반적인 AI 프로젝트 실패에 기여하는 주요 요인이다. AI 전환 사례가 대부분 실패한다는 것을 보여주는 연구가 많으며 기술과 모델, 데이터는 일부에 불과하다. 또한, 데이터를 우선시하는 직원의 태도도 중요하다. 사실 직원 사고방식의 변화가 AI 자체보다 훨씬 더 중요할지도 모른다. 데이터 중심으로 사고하는 기업은 스프레드시트를 사용하는 것만큼 효과적일 수 있다.

성공적인 AI 이니셔티브를 위한 첫걸음은 데이터 기반 결정이 직감이나 전통보다 우월하다는 믿음을 쌓는 것이다. 시민 데이터 사이언티스트의 노력은 대부분 실패했다. 비즈니스 부문 관리자나 임원진은 일반 통념을 고수하고 데이터에 대한 신뢰성이 부족하며, 의사결정 권한을 애널리틱스 프로세스에 양도하기를 거부하기 때문이다. 그 결과 ‘풀뿌리’ 연구 활동과 하향식 이니셔티브로 인해 실제 비즈니스로 전환되기보다 단순 취미나 호기심, 이력 쌓기 등으로 끝나는 경우가 많았다.

한 줄기 희망이 있다면 기업의 변화와 관련 문제에 대한 연구가 광범위하게 이루어지고 있다는 점이다. 기업은 임원진의 패기를 시험하는 곳이다. 임원진의 패기는 위에서 명령을 내리는 방식으로 얻을 수 없다. 마음가짐과 태도를 부드럽고 능숙하게, 전형적으로 느리게 바꿔야 하며 사람마다 원하는 행동에 대한 지시에 다르게 반응할 수 있다는 것을 인정해야한다. 여기에는 일반적으로 4가지 핵심 영역이 해당되는데 소통과 솔선수범, 참여, 지속적 개선이 바로 그것이며, 결정 관리 프로세스와 직접적으로 관련이 있다.

데이터 기반 의사결정이 반직관적인 경우가 많다는 점을 고려하면, 기업 문화를 AI 공간을 중심으로 변화시키는 것은 특히 어려울 수 있다. 데이터 기반 의사결정이 직감이나 전통보다 우월하다는 신뢰를 쌓기 위해서는 가장 진보한 리더십 기업만이 통달한 ‘생리학적 안전’이라는 요소가 필요하다. 생리학적 안전에 관해 ‘사람에 대한 모든 것’이라는 의미인 ‘ITAAP’라는 두문자어가 있다는 이야기가 많았다. 성공적인 프로그램은 변화 관리에 예산의 50% 이상을 투입하는 경우가 많다. 사실 필자는 60%에 가까워야 한다고 주장한다. 추가 10%는 최고인사책임자(CHRO) 사무실 내 프로젝트별 인력 애널리스트 프로그램에 투입돼야 한다고 본다.
 

헤일 메리 패스를 초반에 투입하기

데이터 문화는 하루아침에 구축할 수 없다. 따라서 애널리틱스 프로젝트로 즉각적인 전환 효과를 기대하면 안 된다. 성공적인 AI 또는 ML 이니셔티브는 인력과 프로세스, 기술, 적절한 지원 인프라에 대한 경험이 필요하다. 이런 경험치는 그리 신속하게 쌓이지 않는다. 몇 년간의 일치된 노력 후 미국 ABC의 퀴즈쇼에서 IBM 왓슨이 제퍼디(Jeopardy)를 이기고 딥마인드(DeepMind) 알파고가 인간 바둑 챔피언을 이기기까지 오랜 기간 동안 모두의 노력이 필요했다.

많은 AI 프로젝트가 실패하는 이유는 바로 회사가 가진 역량을 뛰어넘기 때문이다. AI를 기반으로 하는 신제품이나 영업 품목을 출시하려고 하는 경우에 특히 그렇다. 성공을 달성하기에는 처음부터 무언가를 구축하는 것과 관련해 변수가 너무 많기 때문이다.

더티 해리가 ‘매그넘 포스(Magnum Force)’에서 밝힌 ‘사람은 자신의 한계를 알게 된다’라는 말은 회사에도 적용된다. 대기업에서 날마다 발생하는 무수히 많은 비즈니스 결정을 AI와 데이터로 자동화할 수 있다. 전반적으로 소규모 의사결정을 개선하는 데 AI를 활용하면 투자 대비 더 나은 수익을 얻을 수 있다. 회사는 기존 프로세스를 개선하는 데 모험을 건 시도를 하는 것보다 AI와 ML에 위험성이 낮은 투자를 시작하는 편이 더 나을지도 모른다. 이를 기자실에서는 모를 수 있지만 회계사는 알 것이다.

이미 데이터 기반 의사결정을 내리는 데 AI를 성공적으로 사용하고 있다고 하더라도 기존 모델을 개선하는 것이 새 프로그램을 도입하는 것보다 더 나은 투자일 수도 있다. 2018년 맥킨지 보고서 ‘더 나은 모델의 가치는 무엇인가?’에 따르면, 예측 능력이 조금만 증가해도 경제적 가치가 어마어마하게 커질 수 있다.
 

애널리틱스에 부적절한 기업 구조

AI는 즉각적인 투자 수익을 제공하는 플러그 앤 플레이(Plug and Play) 기술이 아니다. 기업 전반의 사고 방식 변화와 이에 따른 내부 기관의 변화도 필요하다. 보통 인재와 도구, 인프라에 과도하게 집중하고 있으며 기업 구조가 변화해야 하는 방식에는 조직의 구조가 변화해야 하는 방식에는 너무 신경을 쓰지 않고 있다.

수직적으로 지원받는 일부 형식적인 기업 구조는 전통적인 비분석적 기업을 데이터 중심 기업으로 바꾸는 데 필요한 임계 질량과 추진력, 문화적 변화를 달성해야 한다. 이를 위해서는 전문가 조직 뿐만 아니라 새로운 역할과 책임도 필요하다. 전문가 조직(COE)은 기업 환경에 따라 다른 형태를 띨 것이다.

일반적으로 양원제 모델이 가장 효과적인 것으로 보인다. 여기서 AI 책임의 핵심은 중앙에서 처리하고 각 사업부에 파견된 COE의 ‘위성’은 배송을 조정할 책임이 있다. 이런 구조는 보통 사업부 전반의 일반적으로 사업부 전반의 조정 및 동기화 증가로 귀결되며, AI 전환에 대한 책임 공유 증가로 이어진다.

최고분석책임자가 주도하는 COE는 교육 및 훈련 프로그램 개발, AI 프로세스 라이브러리 생성(데이터 사이언스 방법론), 데이터 카탈로그 작성, 성숙도 모델 구축, 프로젝트 성과 평가 등의 책임을 잘 수행할 수 있다. COE는 기본적으로 규모의 경제로부터 이익을 얻는 업무를 처리한다. 여기에는 AI 인재 개발과 서드파티 제공자와의 협상, 거버넌스 및 기술 표준 설정, 내부 AI 커뮤니티 조성 등도 포함된다.

다양한 사업부에 소속된 COE 대표자는 교육 제공, 채택 촉진, AI로 증강된 의사결정 확인, 구현 유지, 프로그램 장려에 더없이 좋은 직위이다. AI 이니셔티브를 비즈니스에 언제, 어디서, 어떻게 도입할지 결정하는 데 있어서도 마찬가지다. 사업부 대표자 수는 COE의 ‘SWAT팀’이 운영하는 프로젝트에 의해 증가할 수 있다.
 

비즈니스 프로세스에 인텔리전스를 끼워 넣지 않기

AI 이니셔티브에서 가치를 도출할 때 가장 보편적인 장애물은 데이터 인사이트를 기존 비즈니스 프로세스에 통합하는 것이다. 이 ‘최종 마일’ 문제는 BRMS(Business Rules Management System)를 사용해 해결하기 가장 쉽다. BRMS는 오래된 기술로 2000년대 초반 이후로 많이 설치됐으며, 예측 모델을 배치하는 수단으로 활용됐다. BRMS는 감당할 수 있고 신뢰할 수 있는 자동화된 비즈니스 프로세스에서 이상적인 결정 지점을 만든다. 기업에서 BPM(Business Process Management) 시스템을 활용해 핵심 비즈니스 프로세스를 자동화, 간소화, 합리화하고 있지 않다면 AI 투자는 여기서 잠시 중단하자. 이런 상황에서는 AI가 아닌 BPM과 BRMS 등 기본적인 것이 먼저 필요하다.

최신 BRM 시스템 대부분은 모델 관리 및 클라우드 기반 배치 옵션이 포함돼 있다. 클라우드 시나리오에서 시민 데이터 사이언티스트는 애저 머신 러닝 스튜디오(Azure Machine Learning Studio)와 InRule BRMS 등의 도구를 사용해 모델을 만들 수 있으며, 이 모델은 REST 엔드포인트를 통해 비즈니스에 직접 배치된다. 이런 클라우드 기반 통합으로 완전한 기능을 갖춘 AI 프로그램보다 훨씬 더 합리적인 비용으로 의사결정 프로세스를 쉽게 실험할 수 있다.
 

실험 실패

이제 다른 측면을 살펴보자. 사용자는 새 비즈니스 모델을 만들거나 시장을 혁신하고, 새 제품을 개발하고, 아무도 가지 않은 곳에 과감하게 발을 딛기 위해 AI를 어떻게 사용하고 있을까? 벤처 지원을 받는 스타트업의 경우, 실패율은 약 75%로, AI 비즈니스 모델을 도입하는 데 힘든 시간을 보내고 있다. 사용자의 AI 기반 제품이나 비즈니스 이니셔티브의 실패율이 더 낮다면 일부 최고 투자자보다 더 나은 성과를 내고 있는 것이다.

심지어 많은 기술 전문가도 실패한다. 구글 전 CEO 에릭 슈미트는 2011년 상원 증언 중 구글이 취하는 방법 중 일부를 공개했다.

구글에 따르면, 자사가 생각하는 변화의 규모에 대한 사용자의 이해를 돕기 위해 2010년, 제안된 알고리즘 변화가 검색 결과의 품질을 개선했는지 파악하기 위해 13,311회에 걸쳐 정밀 평가를 수행했다. 또, 2세트의 검색 결과를 실험 집단에 제공하고 평가자가 결과에 대해 순위를 매기는 8,157번의 실험과 실제 구글 사용자 중 소수는 변화에 어떻게 대응했는지 관찰하는 2,800번의 클릭 평가도 진행했다. 이 프로세스는 궁극적으로 데이터에 기초해 사용자에게 유용하다고 판단됐다. 이런 과정을 거친 후 결국 516가지의 변화가 생겼다. 이 변화는 데이터를 기반으로 사용자에게 유용하다고 판단돼 구글 알고리즘에 적용됐다. 이런 변화의 대부분은 사용자가 감지할 수 없으며, 웹사이트에 매우 미미한 수준의 영향을 미치지만 이들 각각은 사용자에게 이익을 제공한다는 확신이 들 때만 구현된다.

제안된 변화의 실패율은 96%이다.

여기서의 핵심은 얻을 수 있는 중요한 교훈이 있다면, 실패는 필연적으로 발생한다는 것이다. 구글만의 차별점이 있다면 구글의 데이터 기반 문화가 다른 기업이 실수로부터 깨달음을 얻을 수 있도록 한다는 것이다. 슈미트의 증언의 키워드인 ‘실험’에도 주목하기 바란다. 실험은 구글과 애플, 넷플릭스, 아마존, 기타 기술 선도 기업이 AI의 이점을 대규모로 활용하는 방식이다.
프로세스와 제품, 고객 경험, 비즈니스 모델을 생성하고 개선하는 능력은 해당 기업의 실험 역량과 직접적인 관련이 있다.
 

다음은 무엇일까?

산업혁명 당시 수공품을 넘어 기계 제조를 도입하는 데 실패한 기업이 사라진 것처럼, AI와 ML의 큰 변화 속에서 새로운 환경에 적응하지 못하는 기업은 사라질 것이다. AI 문제가 주로 기술적인 부분에서 발생하며 기술 때문에 실패했다고 비난하기 쉽지만, 사실 AI 프로젝트 실패는 대부분 전략과 실행의 문제에서 비롯된다.

이는 여러모로 기업에게 좋은 소식이다. 기업은 AI 프로젝트의 실패 뒤에 존재하는 오래된 비즈니스 문제를 잘 파악하고 있다. 문화와 기업 구조, 비즈니스 프로세스에서의 필연적인 변화는 피할 수 없지만 방향성이 정해졌다는 사실에 안도할 수 있다. 배를 조종해 암석을 피하는 것이 관건이다. 기존 프로세스에 AI를 적용하는 작고 단순한 실험부터 시작하면 더 긴 AI 여정에 합류하기 전 값진 경험을 얻는 데 도움이 될 것이다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.