생성형 AI 구축의 최대 난제와 모범 사례에 대한 조언들

생산성과 효율성을 높이기 위해 빠르게 생성형 AI를 도입하는 기업이 늘었지만, 전략적으로 구현에 접근하는 곳은 많지 않다. 많은 생성형 AI 프로젝트가 실패하거나 ROI가 낮고 예상보다 훨씬 많은 비용이 소요되기도 한다.

IT 경영진도 인재 부족, 데이터 품질 저하, 포괄적 AI 거버넌스 부재, 위험 완화 및 제어 등 생성형 AI의 효과적 도입과 확장을 가로막는 여러 가지 장애물에 직면해 있다. 

가트너 리서치에 따르면 2025년까지 기업이 생성형 AI 개념 증명을 수행한 후 여러 가지 과제를 극복하지 못해 포기하는 프로젝트가 전체의 30%에 달할 것이다. 비용이 늘어나고 사업적 가치가 불분명하다는 점도 생성형 AI 프로젝트가 실패하는 주요 원인이다.
 

가트너는 전사적 생성형 AI 도입을 위한 10가지 모범 사례 연구 보고서에서 사업적 가치를 우선시하고 AI 리터러시와 책임감 있는 AI 정책 마련에 집중하라고 조언했다. 부서간 협업과 지속적 학습 역시 강조했다.

가트너 수석 부사장이자 애널리스트 아룬 찬드라세카란은 기업의 생성형 AI 프로젝트와 관련해 가장 큰 과제는 기존 데이터 품질 저하, 관련 데이터를 생성형 AI 워크플로우에 통합하기, AI 시스템의 거버넌스라고 지적했다.

성공적인 생성형 AI 프로젝트를 위한 준비 작업에 나선 기업은 앞으로도 더욱 증가할 것으로 보인다. 가트너는 2024년 현재 책임감 있는 AI 거버넌스 프로그램을 도입한 기업은 2%에 불과하지만, 2027년에는 50% 이상으로 늘어난다고 예상했다.

찬드라세카란 외 다른 전문가는 대다수 기업의 데이터 위생, 분류, 보안이 부족하다고 지적해 왔다. 품질이 열악한 데이터가 생성형 AI의 LLM과 결합하면 ‘쓰레기가 들어와 쓰레기가 출력되는’ 현상이 발생할 뿐이다. 생성형 AI 플랫폼은 다음 단어, 다음 이미지나 코드줄 예측 엔진에 불과하므로 입력된 데이터를 바탕으로 답변을 생성한다.
 

인재 부족과 내재된 위험성

그 외 생성형 AI 프로젝트의 실패 요인으로는 비효율적 프롬프트 엔지니어링(LLM 훈련), 검색 증강 생성(RAG), 부적절한 말뭉치 단위화 및 검색, AI 모델 미세 조정의 복잡성을 들 수 있다.

찬드라세카란은 AI 기술과 전문성의 부족이 기업에 악영향을 미침이 분명하다고 말했다.

AI의 기업 내 구현을 지원하는 AI 매니지드 서비스 업체인 AI 콜라보레이터(AI Collaborator)의 설립자 겸 CEO 제임스 브릭스는 많은 기업이 부딪히는 가장 큰 문제는 생성형 AI 프로젝트를 구현∙모니터링∙관리 가능한 인재가 부족하다는 것이라고 말했다. AI 배포와 관련된 위험도 늘어나는 추세다.

브릭스는 “AI 애플리케이션이 견고한 책임 프레임워크에 기반하지 않은 채 구축됐을 때 발생하는 투명성, 거버넌스, 공정성 문제도 위험하다”라고 지적했다.

다른 신기술과 마찬가지로 생성형 AI도 내재된 위험 말고 기존 위험을 증폭시킬 가능성이 있다. 예를 들어 생성형 AI 도구가 다른 기업 시스템과 부적절하게 통합되면 보안되지 않은 데이터와 백도어 같은 취약점이 발생한다.

딜로이트는 악의적 공격자가 AI 도구를 활용해 잘못된 정보나 딥페이크를 퍼뜨리고 여론을 원하는 방향으로 바꿀 수 있다고 경고했다.

생성형 AI를 도입하는 기업은 미국 국립표준기술연구소(NIST)가 제안한 AI 위험 관리 프레임워크나 범용 AI 시스템에 대한 새 유럽연합 규정 등 예전부터 있었거나 새롭게 제정된 규제 위험을 고려해야 한다.

또한, 사용자 프롬프트에 맞는 응답을 생성할 때 환각과 편향을 벗어나야 한다는 점도 해결해야 할 과제다.

찬드라세카란은 “모델 학습의 경계가 모호하고 법적 책임이 회색 영역에 있다는 점을 의식하고 데이터 보호를 계속 우려하는 IT 경영진이 많다”라고 전했다.

최근 AI 도입 관련 보고서를 공개한 벤처캐피털 안드레센 호로위츠는 생성형 AI 전문 인재를 확보하기가 매우 어려우기 때문에 사내에서 생성형 AI를 쉽게 개발할 수 있는 도구를 제공하는 신생업체와 협력하는 경우가 많을 것으로 예측했다.
 

“비용은 높지만…” 장점이 단점보다 크다고 판단한 기업들

찬드라세카란은 생성형 AI 프로젝트의 초기 비용은 무시할 만한 수준이지만, 사용례가 확대되면서 빠르게 증가할 수 있다고 말했다. 뿐만 아니라 잘못된 아키텍처 결정, 추론 최적화에 대한 전문성 부족, 변경 관리 불충분으로 총 소유 비용이 늘어날 위험도 있다.

안드레센 호로위츠는 최근 수십 곳의 포춘500대 기업 및 최고경영진과 대화를 나누고 70곳 이상의 기업을 대상으로 설문조사를 실시해 기업의 생성형 AI 활용과 구매, 예산 책정 방식을 파악했다.

보고서는 “지난 6개월 동안 생성형 AI에 대한 자원과 태도가 변화한 내용은 충격적이었다. 경영진은 여전히 약간의 의구심을 느끼지만, 예산은 약 3배 가까이 늘어났고 소규모 오픈소스 모델에 배포되는 사용례가 늘어났으며 실험적인 시도에서 프프로덕션 단계로 워크로드를 전환하고 있었다”라고 기술했다.

보고서에 따르면, 생성형 AI 솔루션의 대규모 구축과 배포 과정에서 모델 업체에 API를 제공하는 것만으로는 부족하다. 필요한 컴퓨팅 인프라를 구현하고 유지 관리하며 확장하기 위해서는 고도의 전문지식을 갖춘 인재가 필요하다.

안드레센 호로위츠의 제너럴 파트너 사라 왕은 “2023년 기업의 AI 지출에서 구현은 가장 큰 비중을 차지했고 경우에 따라서는 가장 금액이 크기도 했다. 한 기업 임원은 LLM 구축은 사용례 구축 비용의 1/4에 지나지 않고 예산의 대부분을 차지하는 것은 개발 비용일 것이라고 말하기도 했다”라고 전했다.

2023년 가트너가 실시한 2차례의 설문조사에서는 응답자 78%가 생성형 AI의 이점이 위험보다 크다고 답했다. 그러나 성공의 관건은 높은 구축 비용으로 생성형 AI를 제대로 구축하는 것이다. 

투자 수익률을 입증하는 것도 과제다. 찬드라세카란은 “현실에서는 생성형 AI의 재무적 수익을 파악하지 못한 기업이 많은데, 초반에 AI 이니셔티브의 ROI를 정의하는 데 어려움을 겪기 때문”이라고 말했다.

찬드라세카란은 생성형 AI 구현의 가치는 “사용례, 도메인, 산업에 따라 매우 구체적”이라며 “대다수 개선사항은 생산성, 주기, 고객 경험, 주니어 직원의 숙련도 향상 등 미래 재무적 가치의 주요 지표에 반영될 것”이라고 설명했다.
 

 

향후 이점 미리 파악하기

가트너에 따르면 생성형 AI 여정의 첫 번째 단계는 기업의 AI 목표를 결정하고 가능한 것에 대한 탐색적 대화를 진행하는 것이다. 다음은 생성형 AI로 시범 운영할 수 있는 사용례를 모색하는 단계다.

생성형 AI가 즉각적 인력 감축과 비용 절감으로 이어지지 않는다면, 생성된 가치는 어떻게 사용되는지에 따라 시간이 지나며 재정적 이점이 더 느린 속도로 발현할 것으로 예상된다.

예를 들어, 찬드라세카란은 수요가 늘어나면 적은 인력으로도 더 많은 일을 하게 되고, 고령 인력 고용이나 서비스 업체와의 계약을 줄이고, 고객과 직원 가치를 개선해 유지율을 높이는 것은 모두 시간이 지나면서 증가하는 재무적 이점이라고 말했다.

최근에는 자체 모델을 구축하는 대신, 미리 구축된 LLM을 맞춤화하는 쪽을 선택하는 기업이 늘어나고 있다. 기업은 프롬프트 엔지니어링과 검색 증강 생성(RAG)을 통해 특정 요구사항에 맞게 오픈소스 모델을 미세 조정할 수 있다. RAG는 환각 등의 이상 현상을 크게 줄이며 더욱 맞춤화되고 정확한 생성형 AI 모델을 만든다.

안드레센 호로위츠는 기업의 생성형 AI 도입을 좌우하는 6가지 요소를 정의했다.
 

• 비용과 효율성 : 생성형 AI 기반 시스템의 이점이 비용보다 더 큰지 평가하는 역량. 대규모 데이터를 처리하고 저장하면 인프라 및 컴퓨팅 리소스와 관련 비용이 증가할 수도 있음.
• 지식 및 프로세스 기반 작업 : 고도의 지식과 프로세스 기반 업무와 현장 및 물리적 업무만 수행하는 경우.
• 높은 클라우드 도입률 : 인프라 요구사항을 고려할 때 중간보다 높은 수준의 클라우드를 채택함.
• 규제 및 개인정보 보호 부담이 낮음 : 규제 감시가 심하고 데이터 프라이버시를 우려해야 하며 윤리적 편견이 높은 직무나 산업은 생성형 AI에 적합하지 않음.
• 전문화된 인력 : 기술 지식과 새로운 역량을 갖춘 우수한 인재, 그리고 인재가 빠르게 적응하도록 지원할 역량이 있어야 함.
• 지적 재산권, 라이선스 및 사용 계약 : 라이선스/사용 계약 및 제한 사항을 평가하고, 관련 규정 준수 요건을 수립 및 모니터링하며, 관련 공급업체와 맞춤형 계약을 협상할 능력.

클라우드 서비스 업체를 통해 생성형 AI 도구를 접하는 것도 흔히 보이는 방법인데 안드레센 호로위츠는 “기업 경영진은 오픈소스 모델이 클라우드 서비스 업체보다 데이터를 잘못 처리할까 우려하고, 긴 조달 과정을 피하려는 경향이 있다”라고 분석했다.

파운데이션 모델 업체는 보통 맞춤형 모델 개발 전문 서비스를 제공해 기업의 모델 가동과 실행을 지원한다.
 

생성형 AI 배포 모범 사례

기업은 서비스 업체와 협력해 생성형 AI 구현을 준비하는 단계를 밟게 된다. 가장 중요한 것은 인력의 업스킬링과 재교육이다. 보안 및 규정 준수 교육과 클라우드 업체의 라이선스 계약으로 관련 우려를 해소하는 것도 포함된다.

딜로이트가 펴낸 CISO를 위한 생성형 AI 가이드는 생성형 AI 도입으로 최대의 이점을 누릴 준비가 된 기업이라면, 라이선스 계약을 평가∙협상∙감독하는 절차를 구현할 것을 권장했다. 기업은 생성형 AI 도구 모니터링 방법을 설계하고 편견 등의 특정한 AI의 위험을 해결하는 가드레일 또는 제어 장치를 설정해야 한다.

딜로이트는 소프트웨어 코드 증강은 생성형 AI의 주요 용도이므로 기업이 평가 도구와 모델 검증 기능, 위협 모니터링 및 탐지 기능을 갖춰야 한다고 권고한다. 또한 “무엇보다도 생성형 AI 도입 로드맵에는 사이버보안 리더, 최고 자원 책임자, 법무팀 등 위험 이해관계자가 긴밀하고 지속적으로 협력해서 위험을 이해하고 예측해야 한다”라고 강조했다.

IDC는 AI 도입을 준비하는 기업에 비즈니스 목표, 사용례, 가치 측정 방법을 명확히 정의하고, 사용례 수준에서 구축과 구매를 비교하고, 신뢰할 수 있는 솔루션 업체와 협력하라고 조언했다. 그 외의 다른 단계로는 회사 경영진의 동의 얻기, AI 준비를 위한 데이터 인프라 평가 및 업그레이드, 개인정보 보호, 보안과 책임감 있는 AI에 대한 프로세스, 제어 정책 수립 등이 있다.

생성형 AI 이니셔티브는 소수의 사용자에서 수천 명 이상까지 규모를 확대할 수 있어야 하며 궁극적으로는 기업 전체에 배포되어야 한다. 가트너는 생성형 AI를 확대 배포하려면 기업 내 수많은 사용례 가능성을 평가하고 체계적으로 접근해 구축할지, 구입할지를 결정할 수 있어야 한다고 조언했다.

보고서에서 가트너는 “이런 선행 결정의 영향력은 지속적이므로 각 사용례를 신중하게 고려해야 한다”라고 밝혔다. 또한 “이상적으로는 AI 제품이 업계에서 차별화된 경쟁력을 제공하고, 구축 프로세스에 대한 적절한 기술과 노하우가 있을 때 구축하는 것이 좋다”라고 덧붙였다.

기업은 파일럿을 운영하여 새로운 아이디어를 시도하고, 생성형 AI를 통해 가능한 것과 불가능한 것에 대한 조직 내 근육 기억을 쌓고, 실험을 통해 학습해야 한다.

또한 가트너는 기업에 다음과 같은 사항을 권장한다.
 

• 구성 가능한 생성형 AI 플랫폼 아키텍처를 설계하라. 생성형 AI 환경은 인프라, 모델, AI 엔지니어링 도구, 애플리케이션의 네 가지 중요한 계층으로 구성된다. 플랫폼 아키텍처가 구성 가능하고 확장 가능하며 거버넌스를 미리 고려했는지 확인하라.
• 공정성, 편견 완화, 윤리, 위험 관리, 개인정보 보호, 지속 가능성, 규제 준수 같은 중요한 영역에 명확한 원칙과 정책을 마련하고, 책임 있는 AI에 대한 비전을 정의하고 공개하여 생성형 AI 프레임워크를 최우선으로 삼아야 한다.
• 생성형 AI는 결국 모든 직원 또는 상당수의 직원이 사용할 것이므로 데이터 및 AI 리터러시에 투자해야 한다. 관련 사용례를 파악하고 해당 AI 애플리케이션을 구현 및 운영할 수 있는 역량과 함께 맥락에 맞게 AI를 활용할 수 있는 능력이 핵심이다. 또한 HR 부서와 협력해 커리어 매핑 클리닉과 오픈 마이크 세션을 마련하고, AI가 기술과 직무에 미치는 영향에 대한 두려움, 불확실성, 의심(FUD)을 해소하라.
• 생성형 AI 모델은 기업 내 데이터와 결합할 때 최고의 가치를 제공하기 때문에 강력한 데이터 엔지니어링 관행을 구축해야 한다. 여기에는 벡터 임베딩을 통해 모델을 엔터프라이즈 데이터와 통합하는 모범 사례와 효율적인 미세 조정을 위한 새로운 접근 방식에 대해 AI 팀을 교육하는 것도 포함된다. 메타데이터 캡처, 지식 그래프 구축, 데이터 모델 생성 등의 기능에 투자하라.
• 서비스나 제품이 단계적으로 폐지될 때까지 지속적으로 고객 가치를 향상시킬 수 있도록 타임라인을 진행하고, 설계된 생성형 AI를 위한 제품 접근 방식을 채택하라.

editor@itworld.co.kr