가트너에 따르면, 2026년까지 80%의 기업이 생성형 AI API 또는 LLM을 사용하거나, 생산 환경에 생성형 AI 지원 애플리케이션을 배포할 것이라고 한다. 5% 미만이었던 2023년 조사 결과에서 크게 증가한 이유는 많은 기업이 반복되는 패턴과 실행 가능한 인사이트를 발견하고 지루한 작업을 자동화해 노동자의 업무 부담을 덜어주기 위해 생성형 AI를 도입하고 있기 때문이다. 
 

822명의 기업 리더와 이사회 임원을 대상으로 실시한 가트너의 새로운 설문조사 결과, 현재 9%의 기업이 생성형 AI를 활용해 비즈니스 모델을 혁신하고 새로운 비즈니스 기회를 창출하고 있다. 하지만 데이터 품질 저하, 부적절한 리스크 관리, 비용 상승, 불분명한 비즈니스 가치 등으로 인해 2025년 말까지 이런 프로젝트의 약 1/3은 중단될 것이라는 결과도 나왔다. 

가트너 수석 부사장 애널리스트 리타 살람은 "작년의 과대광고 이후 경영진은 생성형 AI 투자에 대한 수익을 빨리 보고 싶어 하지만, 가치를 입증하고 실현하는 데 어려움을 겪고 있다. 이니셔티브 범위가 넓어지면서 생성형 AI 모델 개발 및 배포에 대한 재정적 부담이 점점 더 커지고 있다"라고 지적했다. 

AI 배포에는 500만 달러(약 68억 9,000만 원)에서 2,000만 달러(약 275억 7,000만 원)에 이르는 비용이 소요될 수 있다. 가트너는 오는 2028년까지 LLM을 처음부터 구축한 기업의 절반 이상이 비용, 복잡성, 기술 부채로 인해 이를 포기할 것이라고 전망했다. 
 

그럼에도 불구하고 일부 얼리 어댑터 기업은 생성형 AI 툴의 이점을 이미 경험하고 있다. 산업과 비즈니스 프로세스 전반에 걸쳐 기업은 사용례, 업무 유형, 근무자의 기술 수준에 따라 다양한 개선 효과를 보고 있다. 가트너 설문조사에 참여한 비즈니스 책임자는 평균적으로 15.8%의 매출 증가, 15.2%의 비용 절감, 22.6%의 생산성 향상을 경험했다고 답했다. 

살람은 "안타깝게도 생성형 AI는 모든 사례에 딱 들어맞는 만능 툴이 아니다. 다른 기술만큼 비용을 예측할 수 없다. 지출하는 비용, 투자하는 사용례, 배포 방식 모두가 비용을 결정한다"라고 말했다.

컨설팅 회사 맥킨지의 2023년 8월 보고서에 따르면, 2024년은 엔터프라이즈 AI 도입의 해로, 55% 기업이 워크플로우에서 생성형 AI를 실험한 것으로 조사됐다. 그러나 당시 설문조사에 참여한 기업 중 2가지 이상의 기능에 AI를 사용하고 있다고 답한 곳은 1/3 미만이었다. 맥킨지 보고서 집필팀은 "AI 사용 범위가 여전히 제한적이라는 점을 시사한다"라고 지적했다. 

AI 기반 검색 및 검색 소프트웨어 업체 루시드웍스(Lucidworks)가 최근 발표한 연례 생성형 AI 글로벌 연구 결과에서는 향후 12개월 이내에 AI 지출을 늘리겠다고 답한 기업이 63%고 집계됐는데, 이는 2023년 93%에서 크게 감소한 수치다. 또한 2023년 AI를 긍정적으로 바라본다고 답한 금융 서비스 책임자는 약 50%였지만, 2024년 계획했던 AI 이니셔티브를 배포한 기업은 1/4에 불과한 것으로 나타났다. 

루시드웍스에 따르면, 금융 서비스에서 생성형 AI를 사용할 때 가장 우려되는 부분은 데이터 보안(45%)이며, 정확성(43%), 비용(40%)이 뒤를 이었다. 

AI 기술 의사결정에 관여하는 2,500명 이상의 비즈니스 책임자를 대상으로 한 루시드웍스의 글로벌 연구는 기업이 비용과 보안 문제에 직면하면서 한때 폭발적으로 성장했던 생성형 AI 붐이 식어가고 있음을 분명히 보여준다. 루시드웍스 CEO 마이크 시노웨이는 성명에서 "기업은 잠재력뿐 아니라 위험과 비용도 잘 알고 있다"라고 말했다. 
 

미국에 기반을 둔 기업은 올해 AI 지출을 늘릴 계획이 있는 기업 가운데 가장 낙관적인 편에 속한다(69%). 여전히 많은 투자가 이뤄지고 있지만, 위험 및 비용 관리와 생성형 AI의 잠재력 사이에서 균형을 잡으려는 기업도 점점 많아지고 있다. 

아이러니하게도 대부분 기업은 경쟁하기 위해 생성형 AI 툴을 도입하고 있다. 루시드웍스 조사에서는 비즈니스 책임자 1/3은 기술 구현을 위해 노력하고 있음에도 불구하고 경쟁사에 뒤처지고 있다고 느끼는 것으로 나타났다. 

그럼에도 AI에 대한 투자는 계속되고 있다. 2030년까지 기업은 챗봇, 연구, 글쓰기, 요약 툴과 같은 생성형 AI 프로젝트에 연간 420억 달러(약 57조 8,000억 원)를 지출할 것으로 예상된다. 현재는 상용 LLM이 시장을 지배하고 있지만, 내부 데이터만 사용하는 맞춤형 소규모 모델에 주목하는 기업이 늘고 있다. 루시드웍스에 따르면, 기업 10곳 중 8곳이 상용 LLM을 사용하고 있으며, 21%는 오픈소스만을 사용하고 있다. 

여전히 파악하기 어려운 ROI 

루시드웍스를 비롯한 여러 연구에 따르면, 생성형 AI는 생산성 향상에 큰 도움이 될 것으로 기대되고 있지만, ROI를 정확히 파악하는 것은 쉽지 않은 것으로 나타났다. 

기업 42%는 생성형 AI 이니셔티브를 통해 아직 큰 혜택을 보지 못했다고 답했다. 루시드웍스는 기술 및 소매업 부문의 도입률이 높으며 이점을 얻고 있지만, 전반적으로 대부분 산업이 파일럿 프로그램을 넘어서는 데 더딘 것으로 나타났다고 밝혔다. 보안은 여전히 비즈니스 책임자의 가장 큰 관심사이며, 비용에 대한 우려는 지난 1년 동안 14배 급증했다. 

또한 환각 문제로 인해 응답 정확도에 대한 우려도 5배 증가했다. 이는 비용과 정확하고 안전한 결과를 보장하기 위해 신중한 LLM 선택이 필요함을 강조한다. 

살람은 앞서 Computerworld와의 인터뷰에서 "생산성과 같은 많은 이점은 간접적이거나 비재무적인 영향을 미쳐 향후의 재무적 성과를 창출하기 때문에 ROI를 표현하는 것이 어렵다"라고 지적했다. 

예를 들어, 생성형 AI를 사용하여 코드 생성을 자동화하면 소프트웨어 개발자의 생산성이 향상돼 다른 혁신을 위한 추가 작업 시간을 확보할 수 있다. 이는 결국 새로운 기능의 출시 기간을 단축하고 고객의 만족도를 높일 수 있다. 

비즈니스 컨설팅 기업 PwC의 데이터 및 AI 리더인 브렛 그린스타인은 "ROI를 측정하는 것은 어려운 일"이라고 말했다. 하지만 기능이나 프로세스를 수행하기 위해 LLM을 적용하면 비용, 정확도, 속도 등의 성능을 이전 프로세스와 비교하기가 더 쉬워진다. 

간단히 말해 ROI는 비용 대비 투자 이익 또는 손실의 재무적 비율이므로, 기업이 생성형 AI에 투자할 때는 해당 지출의 이점이 비용보다 커야 한다. 
 

그린스타인은 "생성형 AI가 새로운 수준의 성능을 일관되게 달성하면 적절한 거버넌스 및 운영 프로세스를 통해 프로덕션에 배포하고 사용량을 추적하면 된다. 6시간이 걸리는 프로세스에서 2시간을 절약하는 사용례가 있고 그 사용량을 추적하면 절감된 시간을 집계할 수 있다"라고 말했다. 

생성형 AI 도입 시 고려해야 할 사항

가트너에 따르면, 생성형 AI 프로젝트를 추진하는 경영진은 다음과 같은 사항을 고려해야 한다.
 

• 비즈니스 조정과 생성형 AI 배포의 전략적 연계를 모색해 생성형 AI 비즈니스 모델 혁신을 통해 얻을 수 있는 비즈니스 가치의 잠재적 이득을 파악한다.
• 생성형 AI 배포에 발생하는 비용과 필요한 비즈니스 조정과 관련된 비용을 모두 고려하여 생성형 AI 비즈니스 모델 혁신의 총비용을 계산한다. 
• 생성형 AI 비즈니스 모델 혁신의 ROI를 계산하고 평가하여 정보에 입각한 투자 결정을 내린다. 여기에는 재무적 수익을 추정하고 필요한 비즈니스 조정과 관련된 비용을 포함하여 혁신과 관련된 총비용과 비교하는 것이 포함된다. 

가트너는 ROI가 기대치를 충족하거나 초과한다면 생성형 AI 혁신과 사용을 더 광범위한 사용자 기반으로 확장하거나 추가 비즈니스 부서에 구현함으로써 투자를 확대할 기회로 삼을 수 있다고 조언했다. ROI가 기대에 미치지 못하면 투자를 재고하고 생성형 AI에 대한 대체 시나리오를 모색해야 할 수도 있다.
editor@itworld.co.kr