“생성형 AI와 로우/노코드의 결합” 코파일럿 스튜디오로 챗봇 만들기

최근 오픈AI 이사회에서 일어난 극적인 사건에서 재차 확인된 한 가지 사실은 마이크로소프트가 GPT와 그 파생 요소에 막대한 자금을 투입한 이유가 결국 코파일럿(Copilot) 제품군을 강화하기 위해서라는 것이다. GPT를 비롯한 대규모 언어 모델(LLM)의 생성형 AI 기능은 이러한 자연어 처리 인터페이스의 핵심 구성요소로, 언어를 이해하고 요약할 수 있으며 사용자의 요구와 기호에 맞게 조정 가능한 사용자 중심의 텍스트를 출력한다.
 

마이크로소프트는 자사의 여러 제품에 코파일럿을 적용했다. 이제 다음 질문은 ‘이런 기능을 코드에 넣으려면 어떻게 해야 하는가?’이다. 그 선택지 중 하나가 프롬프트 흐름 기반 애저 AI 스튜디오(Azure AI Studio)다. 애저 AI 스튜디오를 사용하면 마이크로소프트가 개발하고 있는 머신러닝 모델 라이브러리에 바로 액세스할 수 있다. 그런데 또 다른 선택지가 있다. 바로 마이크로소프트의 로우코드 AI 개발 툴, 코파일럿 스튜디오(Copilot Studio)다. 여기서는 코파일럿 스튜디오에 대해 알아보자.
 

모두를 위한 AI 

애저 AI 스튜디오는 숙련된 애플리케이션 개발자와 데이터 과학자를 위한 툴이다. 그렇다면 이들을 제외한 나머지 우리들은 어떻게 해야 할까? 규격에 맞게 만들어진 모델을 사용하는 것 이상의 일을 하려면 무엇을 사용해야 할까? 기업 내부 데이터와 자체 비즈니스 요건에 따라 작동하는 LLM 기반 애플리케이션을 만들고 싶을 때는?

마이크로소프트 파워 플랫폼(Power Platform)과 같은 로우코드 및 노코드 개발 툴은 비주얼 베이직의 현대판이라고 할 수 있다. 비즈니스 데이터를 기반으로 작동하는 애플리케이션을 구현하도록 만들어졌다. 파워 애플리케이션은 데스크톱이나 모바일 클라이언트 또는 웹에서 실행되며, 프로세스 자동화 툴 역할을 하면서 애플리케이션 간에 임시 링크를 제공한다. 파워 플랫폼의 커넥터 및 동작 라이브러리에는 빠르게 학습시켜 웹 환경에 추가할 수 있는 기본적인 서비스 채팅 플랫폼을 비롯한 다수의 마이크로소프트 머신러닝 서비스가 포함된다.

마이크로소프트가 오픈AI의 생성형 AI 모델을 사용하기로 한 이후 이런 파워 가상 에이전트(Power Virtual Agent)가 크게 개선됐고 동시에 새로운 AI 저작 환경인 코파일럿 스튜디오가 출시됐다. 이그나이트 2023에서 발표된 코파일럿 스튜디오는 웹 애플리케이션과 팀즈 앱, 두 가지로 모두 제공된다. 처음에는 미국에서만 출시했지만 마이크로소프트는 발 빠르게 다른 여러 지역에 대한 지원을 추가했다. 
 

보완적인 코파일럿 스튜디오

코파일럿 스튜디오의 각 버전은 초점을 둔 대상이 서로 다르다. 웹 애플리케이션은 고급 개발 모델을 지원하며 개발팀과 IT 관리자가 외부 대외용 챗봇을 구축하는 용도로 적합하다. 팀즈 앱은 내부적으로 사용되는 자체 툴을 만들고 새로운 아이디어를 신속하게 프로토타이핑하는 데 더 어울린다. 이렇게 내부적으로 검증된 챗봇은 개발팀에 전달돼 개선을 거쳐 외부 사용자와 공유되고 고객 서비스 워크플로우에 통합된다. 

최종 프로세스는 다양한 사용자가 협력해서 빠르게 엔터프라이즈 IT 앱을 만드는, 파워 플랫폼의 퓨전(Fusion) 팀즈에서 개척한 개념을 기반으로 한다. 웹 개발 플랫폼과 팀즈 간에는 예를 들어 액세스 제어 관리, 여러 입력 채널 지원, 기존 봇(Bot) 프레임워크 기능을 다루는 방법 등에서 차이가 있다.
 

첫 생성형 AI 챗봇 만들기 

코파일럿 스튜디오를 시작하려면 코파일럿 스튜디오 계정이 필요하다. 마이크로소프트 365 계정이 있으면, 평가판 계정을 무료로 받을 수 있다.

코파일럿 스튜디오 챗봇을 만드는 작업은 대부분 개발자에게 익숙할 것이다. 봇은 기반 지식을 제공하기 위한 문서를 사용해 주제를 학습한다. 새 툴킷은 이러한 기능을 바탕으로 마이크로소프트가 말하는 GPT 기반의 “강화(boost)”를 제공해 사용자의 의도에 따라 추가 데이터를 요약하고 그 결과를 자연어로 제공한다. 이 데이터로 챗봇을 학습시킬 필요 없이 소스에 대한 링크만 제공하면 된다. 학습 데이터에서 답을 찾을 수 없는 경우 추가 정보를 사용해 새로운 답을 생성한다. 

AI에 대한 이런 혼합적 접근 방식은 많은 장점이 있다. 적절히 사용하기만 하면, 비용이 저렴하고, 초기 응답에 실패했을 때만 더 복잡하고 리소스 소비량이 많은 쿼리를 활용하는 방식으로 컴퓨팅 자원을 덜 사용한다. 사실 이런 방식에 우리는 이미 익숙하다. 예를 들어 클라우드 인프라를 사용해 온프레미스 리소스를 확장하는 방식도 사실상 이 모델이다.

코파일럿 스튜디오의 핵심은 레이블 지정을 거쳐 기본 AI 모델을 학습시키는 데 사용되는, 관련된 정보 모음인 “주제(topics)”라는 개념이다. 예를 들어 IT 지원팀을 위해 1차 분류 기능을 제공하는 챗봇을 만든다면 사용 가능한 업데이트에 연결된 “지원되는 애플리케이션(Supported applications)”이라는 레이블이 붙은 소프트웨어 버전 목록이 있을 것이다. 사용자가 특정 툴의 지원 여부를 문의하면 챗봇은 이 셀프 서비스 업데이트 안내로 연결되는 링크를 사용자에게 제공한다. 

또한, 봇이 결과를 얻기 위해 사용하는 대화 흐름을 직접 정의할 수도 있다. 여기에는 어떤 질문을 할지, 구체적인 소프트웨어 버전까지 확인할지, 그리고 기존 IT 정책이 적용되는지 등을 제어하는 규칙이 포함된다. 비슷한 여러 흐름을 통해 예를 들어 비밀번호 재설정, 이메일 클라이언트 설정과 같은 다른 셀프 서비스 툴로 사용자를 안내하는 것도 가능하다. 지원팀이 단순 응대 작업에서 벗어나 더 복잡한 문제에만 집중하면 된다.
 

GPT로 대화 강화

코파일럿 스튜디오를 사용한 챗봇 개발은 파워 가상 에이전트(Power Virtual Agent)용으로 개발된 기술을 기반으로 하므로 여전히 간단한 편이다. 제약이 많은 프레임워크 내에서 이뤄지긴 하지만 애저 오픈AI의 GPT 모델에 액세스하는 가장 쉬운 방법이기도 하다. 

강화된 챗봇을 만들려면 먼저 코파일럿 스튜디오 홈페이지에서 새 봇을 만든다. 강화된 챗봇에는 폴백(fallback) 쿼리에 사용될 이름과 URL이 필요하다. 이 리소스는 대부분 개별 기업의 자산이겠지만, 사용자 토론 포럼 또는 평상시에는 외부 쿼리에 노출되지 않는 내부 지원 지식 베이스 등 유용하지만 구조화되지 않은 정보 소스를 포함할 수도 있다. 

폴백 사이트는 하나로 제한되지 않으므로 나중에 폴백 사이트와 문서 소스를 추가할 수 있다. 코파일럿 스튜디오는 마이크로소프트 365 서비스이므로 셰어포인트와 원드라이브 같은 파생 서비스를 강화 전략의 일부로 사용할 수 있다. 파워 오토메이트(Power Automate)를 사용해 비즈니스 애플리케이션과 서비스에서 데이터를 추출한 후 JSON 데이터로 포맷해 맞춤형 데이터 소스로 사용하는 것도 가능하다. 

이것이 챗봇에 GPT 지원을 추가하기 위해 필요한 전부다. 그 이후에는 전과 마찬가지로 주제와 규칙을 추가해 기본 서비스를 계속 만들어 갈 수 있다. GPT 기반 서비스는 봇이 미리 정의된 리소스 집합에서 데이터를 찾을 수 없어 외부 데이터에 액세스해야 하는 경우에만 실행된다. 기반 기술은 프롬프트 플로우(Prompt Flow) 또는 시맨틱 커널(Semantic Kernel)로 AI 애플리케이션을 만들 때 사용하는 기술과 상당 부분 비슷하다. 

폴백으로 사용되는 외부 데이터 소스는 LLM의 근거를 위해 사용되는 의미 기억이라고 할 수 있다. 요약과 임베딩 기능을 사용해 모델이 사용하는 검색 공간을 제한한다. 이 과정은 데이터 소스의 검색 답변을 자연어로 포장하는 데 사용할 수 있는 더 구조적인 프롬프트를 제공함으로써 이뤄지며, 동시에 환각의 위험은 훨씬 낮아진다. 이후 팀즈 내부 채널이든 생성형 음성 기술을 사용한 음성 출력이든 원하는 챗봇 채널을 통해 이 출력을 전달할 수 있다. 
 

코파일럿의 코파일럿 

코파일럿 스튜디오에는 흥미로운 부분이 있다. 코파일럿 스튜디오를 사용해 나만의 코파일럿을 만들 수 있을 뿐만 아니라, 그 자체가 코파일럿이다. 코파일럿으로 만들기(Create With Copilot) 옵션은 AI의 안내에 따라 챗봇을 만들 수 있는 절차를 알려준다. 사용자에게 무엇을 제공하고자 하는지, 자신의 의도를 시스템에 설명하기만 하면 적절한 주제를 생성해 준다. 

마이크로소프트는 이런 방식을 통해 로우코드 모델을 모든 형태의 설계 표면에서 더 멀리 떼어냈다. 편집기, IDE, 심지어 파워 오토메이트 흐름을 만드는 데 사용되는 그래픽 프로그래밍 모델도 필요 없다. 대신 코파일럿이 사용자의 의도를 사용해 개발을 주도한다. 어쩌면 최종적으로는 오래전부터 마이크로소프트 연구 전략의 일부였던 '의도적 개발(intentional development)' 모델을 마침내 실현할 수도 있다. 

이 방식이 앞으로 어떻게 발전해 나갈지 흥미롭게 지켜볼 만하다. 비즈니스 애플리케이션, 그리고 마이크로소프트 자체의 다이나믹스 365 플랫폼과 파워 플랫폼의 연결을 통해 코파일럿 스튜디오는 비즈니스에 인텔리전스를 신속하게 추가하는 가장 간단한 방법이 되고 단순한 Q&A 중심 챗봇 이상을 제공할 것이다.
editor@itworld.co.kr