“나만의 코파일럿 만드는 가장 빠른 툴” 애저 AI 스튜디오 사용법

마이크로소프트 애저는 지금까지 오랫동안 마이크로소프트의 원대한 AI 전략에서 중심 역할을 해왔다. 마이크로소프트 리서치의 딥러닝 제품을 애저 코그니티브 서비스(Azure Cognitive Services)로 제공한 것을 시작으로, 이후 고객이 애저를 사용해 모델을 학습시키고 그 결과 서비스를 호스팅하는 자체 클라우드 호스팅 ML을 실행할 수 있게 해주는 툴을 추가했다. 현재 애저는 계속 성장 중인 있는 마이크로소프트 코파일럿(Copilot) 제품군의 중심이다. 코파일럿은 그 자체가 애저 오픈AI의 생성형 AI 모델을 기반으로 하는 동시에 고객도 동일한 모델에 액세스할 수 있게 해준다.
 

애저가 이와 같은 모든 툴을 지원하고 클라우드 서비스 모델을 맞춤 구성하기 위한 프레임워크를 제공하려면 여러 개발 환경을 제공할 필요가 있었다. 그러나 그 결과는 복잡하고 이해하기 어려웠다. 다행히 애저 AI팀은 이전부터 이를 대체하기 위한 애저 AI 스튜디오(Azure AI Studio)를 개발해 왔다. 애저 AI 스튜디오는 애저의 AI 개발 툴을 통합하며, ‘책임감 있는 AI’ 개념을 기반으로 다양한 사전 정의된 AI 모델과 맞춤형 AI 모델을 지원한다.

애저 AI 스튜디오 개발에는 AI 모델을 사용하는 방식에 대한 근본적인 변화가 수반된다. 단순히 단일 모델을 대상으로 API 호출을 수행하는 대신, 이제 모델의 다양한 측면을 혼합하는 파이프라인을 구축하거나, 더 나아가 다양한 모델을 연결해서 멀티모달 애플리케이션을 제공할 수도 있다. 랭체인(LangChain), 시멘틱 커널(Semantic Kernel), 프롬프트 플로우(Prompt Flow)와 같은 툴은 이제 사용자의 자체 데이터를 기반으로 생성형 AI의 결과물을 조율하고 제어하기 위한 필수적인 프레임워크다.

예를 들어, 컴퓨터 비전 애플리케이션이 사진 속의 사물을 식별해서 그 목록을 생성형 AI 대규모 언어 모델에 제공하면 모델은 이미지에 대한 텍스트 설명을 생성하고, 이후 음성 생성기를 사용하여 카메라를 들고 있는 시각 장애 사용자에게 이 설명을 읽어줄 수 있다.

애저 AI 스튜디오 소개

결과적으로 마이크로소프트는 다양한 애저 AI 개발 툴을 하나의 새로운 환경인 애저 AI 스튜디오로 모으고 있다. 2023년 이그나이트(Ignite)에서 공개 프리뷰로 출시된 애저 AI 스튜디오는 현재 마이크로소프트의 생성형 AI 기반 애플리케이션을 대표하는 코파일럿을 구축하는 데 초점을 두고 있다. AI 스튜디오에는 혼합 모델 멀티모달 툴과 애저 AI SDK에 대한 지원이 포함된다. 전체적인 목표는 사용자가 스튜디오 내에서 먼저 실험한 다음 이를 통해 정제된 모델을 프로덕션 서비스에 구축할 수 있도록 하는 것이다.

애저 AI 스튜디오는 공개 프리뷰 단계지만 애플리케이션에서 애저 오픈AI 모델을 사용하려면 마이크로소프트의 승인이 필요하다. 승인된 엔터프라이즈 고객을 위한 프로젝트를 진행 중이어야 하는데, 이를 위해서는 마이크로소프트 계정팀과 직접 소통해야 한다. 또한 프로젝트를 위한 구체적인 사용례도 필요하다. 이 사용례는 고객과 고객의 사용자가 액세스할 수 있는 서비스의 범위를 정하는 데 사용된다. 예를 들어, 애플리케이션에서 민감 데이터를 사용할 경우 안전한 내부 네트워크에서 내부 사용자만 접근할 수 있도록 애플리케이션을 제한해야 할 가능성이 높다.

애저 AI 스튜디오를 사용하기 위해 새 리소스를 만들 필요는 없다. 이 서비스는 애저 포털에 포함되지 않는 독립적인 서비스이기 때문이다. 애저 계정으로 로그인하기만 하면 바로 작업을 시작할 수 있다. AI 스튜디오를 열면 홈 화면이 표시되며, 이 화면에서 모델 카탈로그와 애저 오픈AI 서비스에 액세스할 수 있다. 그 외의 옵션에서는 익숙한 코그니티브 서비스 API에 대한 링크, 그리고 AI 기반 애플리케이션에 사용되는 학습 데이터 또는 프롬프트에 부적절한 자료가 포함될 위험을 낮출 수 있게 해주는 콘텐츠 안전 툴에 대한 링크를 제공한다.

애저 AI 스튜디오에는 홈(Home), 탐색(Explore), 빌드(Build), 관리(Manage)의 4개의 탭이 있다. 홈 탭에는 서비스의 나머지 부분으로 연결되는 링크와 함께 깃허브에 호스팅되는 여러 샘플 프로젝트가 표시된다. 샘플 프로젝트는 자체 코드를 처음 구축하는 데 필요한 발판을 제공한다. 애저 AI 기반 코파일럿을 구축하는 방법을 보여 주는 샘플, 다양한 AI 서비스를 혼합해서 멀티모달 애플리케이션을 구축하는 방법을 보여주는 샘플 등이 있다.

애저 AI 스튜디오에서 AI 애플리케이션 구축하기

시작은 간단하다. 먼저 애플리케이션에 사용되는 VM과 서비스를 관리하기 위한 AI 전용 리소스를 만든다. 익숙한 애저 설정 마법사의 안내에 따라 리소스와 해당 AI 서비스를 만들면 된다. 흥미로운 부분은 애저 코그니티브 서비스가 이제 애저 AI 검색(AI Search)이라는 이름으로 기본 옵션에 포함돼 있다는 점이다. AI 애플리케이션 아키텍처에 대한 마이크로소프트의 독자적인 접근 방식을 보여준다는 면에서 흥미로운 선택이다. 이를 위해서는 애플리케이션의 기반이 되고 프롬프트 오버런으로 인한 “환각” 위험을 줄이기 위한 외부 임베딩 설정이 필요하다.

이제 애저 오픈AI 생성형 AI 모델을 사용해 애저 AI 스튜디오 인스턴스에 AI 모델을 추가하는 등의 작업을 할 수 있다. 현재 AI 애플리케이션에 사용 중인 리소스 그룹에 추가되므로 네트워크 액세스를 제어해서 무단 API 액세스를 방지할 수 있다. 즉, 특정 VNet에 대한 액세스를 잠가서 애플리케이션에서만 액세스하도록 할 수 있다. 더 강력한 제어가 필요하다면 공용 네트워크 액세스를 완전히 비활성화하고 특정 서브넷에서 비공개 엔드포인트를 생성할 수 있다.

사용 가능한 모델 카탈로그는 방대하다. 오픈AI 모델로 제한되지 않으며 메타의 라마(Llama), 허깅 페이스(Hugging Face)의 오픈소스 모델, 엔비디아의 기반 모델 모음, 마이크로소프트 리서치 모델도 지원된다. 모델을 바로 선택할 수도 있고, 추론 작업 목록을 사용해서 프로젝트에 맞는 모델을 선택할 수도 있다. 카탈로그는 편리한 대화형이며 모델을 프로젝트에 배포하기 전에 기본적인 상호작용을 시험해 볼 수 있다.

애저 AI 스튜디오에서는 AI 기반 애플리케이션을 아주 간단히 구축할 수 있다. 배포를 만들고 모델을 선택하기만 하면 바로 시작할 준비가 된다. 프롬프트와 모델 동작을 테스트하는 데 사용할 수 있는 간단한 플레이그라운드가 있으므로 가령 완성된 결과를 확인하거나 AI 기반 채팅 세션을 실행할 수 있다. 처음에는 자체 데이터로 모델을 사용하지 않으므로 일반적인 답변만 제공한다.

기본 프롬프트와 사용 중인 모델의 성능에 만족한다면 데이터를 추가함으로써 모델 동작을 수정하는 작업을 시작할 수 있다. 업로드된 파일, 애저 블랍(Blob) 스토리지, 또는 애저 AI 검색 인덱스를 데이터 소스로 사용할 수 있다. 마지막 옵션을 사용하면 사전 처리된 벡터 인덱스를 빠르게 가져올 수 있으므로 정확도와 속도가 향상된다. 파일에는 파워포인트, 워드, PDF, HTML, 마크다운 및 원시 텍스트가 포함될 수 있다. 새 데이터는 애저 AI 검색을 통해 인덱싱돼 AI 모델의 기반으로 사용할 수 있게 된다.

애저 AI 스튜디오는 프로세스의 모든 단계에서 비용에 대한 알림을 제공하므로 이런 정보를 종합적으로 고려해서 활성화할 기능을 결정할 수 있다. 여기에는 벡터 검색을 사용할지 여부도 포함된다. 데이터가 수집된 후에는 플레이그라운드를 사용해 모델의 응답을 다시 테스트해서 근거에 따라 응답이 이뤄지는지 확인할 수 있다.

이제 추가 테스트를 위해 모델을 웹 앱으로 배포하고, 인트라 ID((Entra ID)를 통해 다른 테넌트 사용자를 위한 인증을 추가할 수 있다. 이 시점에서 부가적인 개발을 위해 플레이그라운드 콘텐츠를 프롬프트 플로우로 내보낼 수 있다.

프롬프트 플로우에서 모델, 프롬프트, API 연결하기

프롬프트 플로우는 모델, 프롬프트 및 API를 연결해서 복잡한 AI 기반 애플리케이션을 구축하기 위한 애저 AI 스튜디오 툴이다. 프롬프트 플로우를 통해 시스템 수준 프롬프트, 사용자 입력 및 서비스를 관리하고 시맨틱 커널 또는 랭체인에 내장된 것과 비슷한 방식으로 이런 요소를 흐름의 일부로 사용할 수 있다.

프롬프트 플로우는 애플리케이션의 요소와 각 단계가 다음 단계로 어떻게 이어지는지 시각적으로 보여주므로 특정 기능을 수행하는 노드를 연결함으로써 코파일럿과 비슷한 서비스를 구성하고 디버깅할 수 있다. 여기에는 데이터 과학 툴을 가져올 수 있게 해주는 파이썬도 포함될 수 있다. 자기만의 흐름을 처음부터 새로 구축할 수도 있지만, 프롬프트 플로우에는 골격을 제공하는 기본 템플릿 집합이 제공되므로 이 템플릿으로 시작해 개발을 이어 나갈 수 있다. 대화 메모리를 사용해서 긴 채팅을 구축하기 위한 기본 골격도 포함돼 있다.

프롬프트 플로우를 사용하면 애저 AI 스튜디오와 비주얼 스튜디오 코드에서 모두 작업이 가능하므로 원하는 개발 환경을 선택할 수 있다. 코드 기반 접근 방식을 사용할 경우 연결 및 흐름 요소가 YAML에 정의되는 시각적 흐름 그래프가 없다. 그러나 VS 코드용 프롬프트 플로우 확장을 사용하면 흐름 콘텐츠 코드로 작업할 수 있으며 시각적 편집기 및 흐름 그래프 보기도 제공된다.

애저 AI 스튜디오는 아직 프리뷰 단계지만 이미 AI 애플리케이션 개발에 대한 독자적인 접근 방식을 제안한다. 마이크로소프트의 AI 툴 모음은 마이크로소프트가 생성형 AI를 대대적으로 채택했으며 신뢰할 수 있는 코파일럿을 개발하는 과정에서 얻은 교훈을 통합했음을 보여준다. 그 결과인 애저 AI 스튜디오는 애플리케이션과 데이터에 생성형 AI를 도입하는 빠른 경로가 될 것이다.
editor@itworld.co.kr