“결정론적 BI+확률론적 AI” 차세대 애널리틱스 구축하기

'방 안의 코끼리(elephant in the room)'라는 속담이 있다. 누구나 알고 있는 큰 문제임에도 모두가 애써 외면하는 불편한 진실이다. 얼마 전까지만 해도 AI가 그랬다. 매우 정교하게 올바른 질문을 해야 겨우 원하는 대답을 내놓는 '까다로운 코끼리'였다. 하지만 생성형 AI가 등장해 모든 것을 바꿔 놓았다. 여러 가지 질문을 심지어 완전하지 않은 문장으로 입력해도 자연스럽게 대답한다. 그 결과 현재 생성형 AI는 모든 기업용 솔루션으로 빠르게 확산하고 있으며, 특히 비즈니스 인텔리전스(Business Intelligence, BI) 분야에 많은 변화를 몰고 오고 있다.
 

생성형 AI와 결합한 BI는 어떤 모습일까? 기업에 실제로 도움이 되려면 어떤 형태여야 할까? 기업이 BI와 AI의 결합을 통해 기대하는 것은 결국 더 정교한 인사이트다. 방대한 데이터에서 기업의 성장을 이끌 새로운 통찰을 찾길 바란다. 단, 여기에는 중요한 전제가 붙는다. 그냥 통찰이 아니라 '진실에 기반한' 정확한 인사이트여야 한다. 생성형 AI는 우리에게 많은 정보를 주지만 때때로 진실이 아닌 정보가 섞여 있다. 생성형 AI의 치명적인 약점으로 꼽히는 '환각'이다. 환각은 BI와 생성형 AI를 결합하는 것이 필요한지에 대한 본질적인 의구심을 불러일으키는 심각한 문제다. 
 

BI와 AI의 본질적인 차이

이 문제의 해법을 찾는 여정은 BI와 AI가 본질적으로 다르다는 사실에서 출발해야 한다. 먼저, BI는 전통적으로 정확성을 추구해 왔다. SQL 등 다양한 연산 작업을 하지만, 같은 데이터를 입력해 같은 질문을 던지면 항상 똑같은 답변을 내놓는다. 일종의 결정론적 시스템이다. 문제는 이런 방식이 빠르게 변화하는 오늘날의 시장 상황에서 그리 스마트하지 않다는 것이다. 인간처럼 데이터를 이해하지 못하고, 인간의 언어도 알지 못하기 때문에 질문의 의도 자체를 해석하지 못한다.

생성형 AI는 다르다. 같은 질문에 대해 관련 차트와 함께 친절한 설명까지 내놓는다. 마치 질문의 의도를 파악한 듯 답변한다. 단지, 이 답변에는 거짓이 들어 있을 수 있고, 같은 질문을 해도 반복할 때마다 답변이 달라진다. 결국 생성형 AI는 확률론적 시스템이다. 확률에 기반해 거짓이 섞일 수 있는 인사이트이므로, 기업의 생사를 결정하는 중요한 의사결정에 이를 참고할 수는 없다.
결정론적 BI와 확률론적 생성형 AI의 특성을 고려하면, 차세대 BI가 지향해야 할 목표가 뚜렷해진다. BI의 정확성과 생성형 AI의 인간 같은 대화 기술을 결합해 기업이 충분히 신뢰할 수 있는 인사이트를 편리한 인터페이스로 제공하는 것이다.
 

차세대 애널리틱스의 조건

남은 문제는 이런 시스템을 어떻게 구현할지다. BI와 AI의 '신뢰할 수 있는' 결합을 위해 필요한 것은 2가지다. 무엇보다 포괄적인 데이터 레이어가 필수적이다. AI가 내놓는 답변은 기본적으로 AI에 제공하는 데이터에 종속되므로, 다양성과 신뢰성을 극대화하려면 기업 내 사일로화된 저장소를 넘나들며 유연하게 데이터에 접근할 수 있어야 한다. 데이터를 저장하는 모든 방법과 위치를 추상화해 가상의 단일 데이터처럼 만들어야 하는데, 이를 시맨틱 레이어(semantic layers)라고 한다. 시맨틱 레이어를 통해 기업 사용자는 자신에게 익숙한 BI 툴에서 일반적인 용어를 사용해 모든 데이터에 접근해 분석할 수 있다.
 

시맨틱 레이어가 제대로 작동하려면 BI 시스템이 특정 업체 솔루션이나 기술에 종속되지 않는 개방형 구조를 가져야 한다. 특정 업체의 독점 기술 혹은 특정 플랫폼에 구속되면 접근할 수 있는 데이터에 사각지대가 생기고, 이렇게 제한된 데이터를 기반으로 내놓은 인사이트에는 편향성(bias)이 개입할 가능성이 크다. 반면 개방형 구조의 BI 시스템에서는 다양한 관점의 여러 데이터에 쉽게 접근해 현실에 맞는 인사이트를 찾을 수 있다. 이런 개방성은 곧 '선택의 자유'이기도 하다. 기업은 특정 시스템 혹은 데이터에 종속되지 않으므로 멀티 벤더 전략을 통해 더 좋은 조건으로 필요한 솔루션을 구매할 수 있다.

BI와 AI의 신뢰할 수 있는 결합을 위해 필요한 두 번째는 다양한 부가 기능이다. 시맨틱 레이어를 이용해 데이터를 공급한다고 해도, 사용자가 생성형 AI를 손쉽게 사용할 수 없다면 기존 BI의 반쪽짜리 AI 기능과 다를 바 없다. 기업 실무자가 쉽게 다룰 수 있는 BI가 되려면 대시보드와 리포트 같은 일반적인 BI 기능을 안정적으로 지원하는 것은 기본이다. 여기에 생성형 AI가 사람의 질문을 직관적으로 이해하고, 생성형 AI가 만든 결과를 사람이 알아보기 쉽게 만들어주는 정교한 프롬프트 엔진이 필요하다. 이처럼 BI와 AI 사이에서 가교 구실을 하는 기술을 통해 사용자는 특정 표현이나 구문에 얽매이지 않고 마치 대화를 하듯 자유롭게 질의할 수 있다. 

BI 분야는 지난 30여 년간 SQL 리포트부터 데스크톱 BI, 시맨틱 레이어, 웹 BI, 모바일 BI, 하이퍼 인텔리전스 등으로 진화해 왔다. 기업이 명확한 데이터를 기반으로 중요한 의사결정을 하고 시장에서 경쟁력을 유지할 수 있도록 지원해 왔다. 그리고 현재 진행 중인 차세대 BI 논의의 중심에 생성형 AI가 있다. 생성형 AI를 어떻게 도입해 활용하느냐에 따라 기업은 더 현명하게 시장의 변화에 대응할 수 있다.