AIㆍML

마이크로소프트, 애저 AI 스튜디오에서 생성형 AI용 안전 및 보안 도구 지원

Paul Krill  | InfoWorld 2024.04.01
마이크로소프트가 생성형 AI 애플리케이션을 빌드하는 클라우드 기반 도구 키트인 애저 AI 스튜디오에 안전 및 보안 도구를 추가하고 있다. 프롬프트 주입 공격 보호, 모델 출력의 환각 감지, 모델을 안전한 출력으로 유도하는 시스템 메시지, 모델 안전성 평가, 위험 및 안전 모니터링이 포함된다.
 
ⓒ Getty Images Bank
 
마이크로소프트는 3월 28일 발표된 새로운 기능은 애저 AI 스튜디오에서 미리보기로 사용할 수 있으며 다른 기능도 곧 지원할 예정이라고 밝혔다. 미리보기 단계인 애저 AI 스튜디오는 ai.azure.com에서 액세스할 수 있다.

프롬프트 쉴드는 인젝션 공격을 탐지∙차단하고, 모델이 영향을 받기 전에 간접 프롬프트 공격을 식별하는 새로운 모델을 포함한다. 이 기능은 현재 애저 AI 콘텐츠 세이프티에서 미리보기로 사용할 수 있다. 근거 탐지 기능은 모델 출력에서 사소한 부정확성부터 텍스트 기반 환각까지 식별하도록 설계됐다. 마이크로소프트는 이 기능으로 텍스트에서 ‘근거가 없는 자료’를 감지해 LLM 출력 품질을 높인다고 설명했다.

메타 프롬프트라고 불리는 안전 시스템 메시지는 모델이 안전하고 책임감 있게 동작하도록 유도한다. 안전 평가는 탈옥 공격과 콘텐츠 위험 발생에 대한 애플리케이션의 능력을 평가한다. 모델 품질 메트릭 외에도 콘텐츠 및 보안 위험과 관련된 메트릭을 제공한다.

위험 및 안전성 모니터링은 사용자가 어떤 모델을 입력하고 출력했는지, 사용자가 콘텐츠 필터를 트리거해 완화 조치를 알리는지 등을 이해하도록 도와준다. 현재 애저 오픈AI 서비스에서 미리보기 수준으로 지원되고 있다.
editor@itworld.co.kr 
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.