기업이 생성형 AI 도입에 실패하는 이유

현재 거의 모든 기업의 경영진이 AI를 이용해 사업을 개선하는 데 많은 관심이 있다. 실무자도 마찬가지여서, 업무에서 문제가 생길 때 AI를 활용해 어떻게 해결할 수 있을지 궁금하다. 분명한 것은 오픈AI 챗GPT나 구글 바드 같은 생성형 AI를 그대로 가져와 기업 IT 인프라에 붙이는 방식은 피해야 한다는 사실이다. 기업 데이터를 생성형 AI로 보내 처리한 후 답변을 받는 방식인데, 이 과정에서 치명적인 위험에 노출될 수 있다.
 

생성형 AI로 보내는 기업 데이터에 거버넌스, 즉 적절한 보안을 적용하는 것이 사실상 불가능하고, 전송하는 데이터도 너무 많을 수 있기 때문이다. 데이터 처리 과정에서 우리 기업의 비즈니스를 이해하지 못하는 답변이 만들어질 수도 있다. 설사 이런 문제를 모두 해결했다고 해도 확률론적으로 거짓일 수 있는 답변을 활용해 기업을 운영할 수는 없다.
 

생성형 AI 도입이 어려운 이유

이 밖에도 자체 구축 방식으로 생성형 AI를 도입한 많은 기업이 여러 가지 어려움에 직면해 있다. 무엇보다 조악한 사용자 경험(UX)이다. 웹과 모바일 등 다양한 환경에서 일관된 UX를 제공해야 하는데, 개별 기업이 만족할 수준의 UX를 직접 만드는 것은 쉬운 일이 아니다. 신뢰성 문제도 있다. 생성형 AI가 내놓은 인사이트의 정확성을 위해서는 시맨틱 레이어가 필요한데, 개별 기업 단위에서 여러 기업용 솔루션의 특성까지 고려해 다양한 데이터 소스에 접근할 수 있는 데이터 레이어를 개발하기는 매우 어렵다.

AI 전문가를 확보하는 문제도 있다. AI 인프라를 개발, 운영하는 데 필수적이지만, LLM 역량을 가진 전문가에 대한 수요가 워낙 많다 보니 채용하는 것 자체가 쉽지 않다. 기존 인력을 재교육하는 것도 기간과 비용을 고려했을 때 현실적으로 어렵다. 설사 이런 문제를 모두 해결했다고 해도 여전히 남는 것이 있다. 새로운 생성형 AI 기능을 기존 기업 IT 인프라에 통합하는 작업이다. 오늘날 기업 인프라는 온프레미스부터 클라우드까지 매우 다양하고 사용하는 언어도 제각각이다. 이 복잡한 기업 IT 생태계 전반에 걸쳐 생성형 AI 기술을 매끄럽게 통합하려면 상당한 전문성과 비용이 드는데, 개별 기업이 감당하기에는 한계가 뚜렷하다.
 

 

BI 레이어를 활용하는 것이 해법

해법은 거짓 가능성이 있는 AI를 이미 정확성이 검증된 BI의 통제하에 두는 것이다. 마이크로스트레티지 원(Microstrategy One)처럼, 사용자와 생성형 AI 사이에 BI 레이어를 두는 방식이다. 사용자의 입력을 받은 후 BI 레이어에서 기업 보안 거버넌스에 맞춰 필요한 데이터를 수집하고, 이렇게 검증된 데이터만 생성형 AI로 전달한다. 생성형 AI가 이 데이터를 처리한 결과 역시 BI 레이어에서 미리 확인해, 최종적으로 사실에 부합하는 내용만을 대시보드 등을 통해 사용자에게 보여주게 된다.

가끔은 이 내용을 사용자에게 더 자세하게 설명해야 하는 경우가 있다. 이때는 다시 해당 내용을 생성형 AI로 넘겨 사람이 더 쉽게 이해할 수 있도록 필요한 답변 문장을 생성한 후 챗봇 채팅 창을 통해 사용자에게 제시한다. 이를 통해 생성형 AI를 활용할 때의 데이터 관련 위험을 해결할 수 있다.

차세대 BI에서 AI가 중요한 역할을 하리라는 것은 의심의 여지가 없다. 단지 생성형 AI의 치명적인 약점을 극복하는 마지막 걸림돌이 남아 있다. BI 레이어를 통해 생성형 AI를 제어하는 방식은 생성형 AI의 장점을 최대한 살리면서도 기업 운영에 꼭 필요한 정확성까지 놓치지 않는다. 전통적인 BI와 사람에 가까운 생성형 AI의 이상적인 조합이자, 기업이 AI의 이점을 온전히 누리는 정확하고 신뢰할 수 있는 방법이다.