“전략·인식·행동 모두 바뀌어야…” ML옵스 전문 3사의 AI 프로젝트 성공 해법

최근 AI를 도입한 서비스가 부쩍 늘어나고 있다. 맥킨지의 조사에 따르면, 기업에서 사용하는 평균 AI 기능의 종류는 2018년 1.9개에서 2022년 3.8개로 두 배 증가했다. 지난해 IT 예산의 5% 이상을 AI에 투자한다고 답한 기업이 절반 이상에 달했다.

하지만 모든 AI 도입 노력이 성공으로 이어지는 것은 아니다. 프로토타입에서 프로덕션으로 성공적으로 전환하더라도 고품질의 데이터를 확보하고 모델을 교육하고 인사이트를 적절하게 적용하는 작업이 지속적으로 이어져야 한다. 많은 전문가가 "AI는 도입한 이후부터가 진짜 시작"이라고 말하는 이유다.

실제 현장에서 발행하는 AI 프로젝트의 문제점과 해결 방안은 무엇일까? B2B AI 솔루션 업체 올거나이즈와 슈퍼브에이아이, 마키나락스가 25일 서울 역삼동에 위치한 마루 180 이벤트홀에서 '알짜 기업이 쓰는 진짜 AI 도입/활용 사례'를 주제로 세미나를 개최해 실무자를 위한 AI 도입 노하우를 공개했다.
 

먼저 슈퍼브에이아이 이현동 부대표는 산업 현장에서 AI 서비스가 실패하는 이유를 크게 6가지로 정리했다. 의사결정권자 측면에서는 ▲현장의 문제에 맞지 않는 솔루션을 적용하거나 ▲1회성 프로젝트라는 인식 ▲정량적/정성적 지표를 통한 성과 분석의 부재 등 잘못된 인식과 이해가 대표적인 원인이다.

실무자 측면에서는 ▲여러 이해관계자 사이에서 문제에 대한 정의와 공감대/진행 과정/기대 효과가 일치하지 않는 소통의 부재 ▲실제 AI 서비스가 적용될 환경의 데이터화 실패 ▲원하는 정답에 대한 체계 정립 및 합의 실패가 프로젝트의 성공 여부를 좌우한다. 각자가 최선을 다하더라도 서로 분절되어 있으므로 전체 ML옵스 사이클이 원활하게 돌아가지 않는다는 것이다.

이현동 부대표는 이런 문제를 개선하기 위해 주기적인 미팅과 관계 형성으로 명확한 방향성을 잡은 뒤 이해관계자와 관련 정보를 공유할 수 있는 정보 공유 체계를 마련할 것을 권했다. 또한 도메인 전문가들의 지식 체계도 구축할 필요가 있다고 강조했다. 이를 통해 합의된 규칙으로 AI를 학습시키면 일관성 있는 결과를 도출할 수 있기 때문이다.

개선된 프로세스와 인식을 바탕으로 AI 개발 사이클을 지속적으로 반복하는 것도 중요하다. 이현동 부대표는 "데이터 중심으로 AI를 개발 및 평가하면서 약점 데이터를 빠르게 찾아 보완하는 방식을 통해 AI 서비스를 고도화할 수 있다"라고 덧붙였다. 

마키나락스 허영신 CBO는 ML옵스의 필요성을 비즈니스 측면에서 바라봤다. AI로 어떤 문제를 해결할지 고르고 적용하는 것도 중요하지만 AI 모델을 성공적으로 서비스화해 ROI를 높이는 것이 산업화로 가는 길이라며, AI를 비용 효율적으로 사용할 수 있는 방법이 ML옵스라고 강조했다.

허영신 CBO는 "한 번에 성능이 완벽한 모델을 만들기 쉽지 않으며 성능을 유지하는 것도 어렵다. 모델 학습을 위해 쓸 수 있는 데이터는 굉장히 한정적이고 드리프트가 계속 발생하기 때문이다. 따라서 긴 시간을 감내할 수 있는 효율적인 체계를 가지고 있어야 '반복의 속도가 질을 결정한다'라는 보이드의 법칙을 실현할 수 있다"라고 언급했다.

허영신 CBO는 "AI 기술을 잘 쓰기 위한 체질과 체력은 결국 ML옵스에서 나온다. 다양한 기술을 빠르고 비용 효율적으로 쓸 수 있는 전략을 갖추는 것이 경쟁력으로 이어진다"라고 덧붙였다. 
 

마지막으로 올거나이즈 이창수 대표는 AI 프로젝트를 통해 생산성을 개선할 수 있는 실전 포인트를 구체적인 사례와 함께 소개했다. 그에 따르면, 챗GPT와 같은 LLM 앱은 미국의 변호사 시험이나 의사 면허를 통과할 정도로 똑똑하며, 이미 많은 기업이 LLM을 통해 시간과 비용을 절약하고 생산성을 혁신하고 있다. 

하지만 LLM 모델에 따라 질문의 뉘앙스를 알아듣는 능력에 차이가 있으며 토큰도 제한적이므로 실무자는 자신이 사용자려는 LLM 앱의 특징을 이해하고 그에 맞는 적절한 프롬프트 작성법을 알아야 한다. 그 과정에서 기업 내부의 민감 데이터를 유출하지 않는 것도 중요하다. 즉, 새로운 기술을 효과적으로 사용하려면 기존의 검색 방식과 데이터를 취급하던 방식에 변화가 필요하다.

사용자 행동의 변화는 전문적인 솔루션의 도움을 통해 자연스럽게 끌어낼 수 있다. 이창수 대표는 "올거나이즈의 기존 솔루션의 사용 양상을 분석하니 문장형 질문이 적합한 앱임에도 여전히 60% 가까이가 키워드로 질문을 했다. 키워드를 입력했을 때 자동으로 문장형 질문을 완성하도록 변화를 주니 키워드 질문이 29%로 줄었다"라고 설명했다.

이어 이창수 대표는 문서 내용을 다른 스타일에 맞춰 변환하거나 1,000페이지의 상품 스펙을 요약하고 규제와 관련해 조치가 필요한 항목을 체크하는 등의 사례를 소개하며 데이터 유출 걱정 없이 LLM을 활용할 수 있는 기업용 생성형 AI 구축 솔루션의 이점을 강조했다.
mia.kim@foundryco.com