AIㆍML

'사람이 이해할 수 있는 AI' 설명가능한 AI를 설명하다

Martin Heller | InfoWorld 2021.10.08

국소 해석 가능한 모델 불특정 설명

국소 해석 가능 모델 불특정 설명(LIME)은 입력의 특징을 동요시키고 예측을 검사함으로써 머신러닝 분류기의 예측을 설명하는 포스트 혹 기법이다. LIME의 핵심은 전역적으로 모델의 근사치를 계산하는 것과 달리 단순한 모델을 통해 국소적으로(설명하고자 하는 예측의 이웃) 훨씬 더 쉽게 블랙박스 모델을 근사 계산한다는 것이다. 텍스트 및 이미지 영역에 모두 적용된다. LIME 파이썬 패키지는 파이파이에 있고 소스는 깃허브에 있다. 인터프리트ML에도 포함된다.
 

누적 국소 효과

누적 국소 효과(ALE)는 인터벌 내의 국소적 동요에 의해 유발되는 차이를 사용하여 특징이 머신러닝 모델의 예측에 평균적으로 어떻게 영향을 미치는지를 설명한다. ALE 플롯은 부분 의존 플롯(PDP)에 비해 더 빠르고 편향되지 않는 대안이다. PDP는 특징이 상관될 때 심각한 문제를 일으킨다. ALE 플롯은 R과 파이썬으로 사용할 수 있다.
 

부분 의존 플롯

부분 의존 플롯(PDP 또는 PD 플롯)은 데이터 집합의 평균을 사용하여 한두 개의 특징이 머신러닝 모델의 예측된 결과에 미치는 한계효과를 보여준다. PDP는 ALE보다 이해하기 쉽지만 실제 환경에서는 ALE가 더 선호된다. 주어진 특징에 대해 PDP와 ALE는 비슷해 보이는 경우가 많다. R PDP 플롯은 iml, pdp 및 DALEX 패키지로 제공된다. 파이썬의 경우 사이킷-런과 PDP박스(PDPbox)에 포함된다.
 

개별 조건부 기대치 플롯

개별 조건부 기대치(ICE) 플롯은 인스턴스당 하나의 선을 표시하며, 이 선은 특징이 변화할 때 인스턴스의 예측이 어떻게 변화하는지를 보여준다. 기본적으로 PDP는 ICE 플롯 선의 평균이다. 개별 조건부 기대치 곡선은 부분 의존 플롯보다 더 직관적으로 이해할 수 있다. R ICE 플롯은 iml, ICE박스(ICEbox), pdp 패키지로 제공된다. 파이썬은 사이킷-런에서 사용할 수 있다.
 

대체 모델

전역 대체 모델은 블랙박스 모델의 예측을 근사 계산하도록 훈련되는 해석 가능한 모델이다. 일반적인 전역 대체로는 선형 모델과 의사 결정 트리 모델이 사용된다.
 
대체 모델을 만들려면 기본적으로 데이터 집합 특징과 블랙박스 모델 예측을 대상으로 모델을 학습시킨다. 블랙박스 모델을 기준으로 대체를 평가하려면 둘 사이의 결정계수를 보면 된다. 대체가 괜찮은 수준이라면 해석에 대체를 사용할 수 있다.
 

DARPA의 설명 가능한 AI

미국 국방 첨단과학기술 연구소 DARPA에서는 맷 튜렉 박사가 설명 가능한 인공 지능에 대한 프로그램을 이끌고 있다. 이 프로그램 웹사이트에는 다음과 같은 내용이 나온다.
 
설명 가능한 AI(XAI) 프로그램은 다음과 같은 머신러닝 기법을 만드는 것을 목표로 한다.

• 높은 수준의 학습 성능(예측 정확도)을 유지하면서 더 설명 가능한 모델을 생산하고
• 인간 사용자가 새로운 세대의 인공 지능 파트너를 이해하고 적절히 신뢰하고 효과적으로 관리하는 것
 
새로운 머신러닝 시스템은 판단의 이유를 설명하고 강점과 약점을 특징짓고 미래에 어떻게 행동할지에 대한 이해를 전달할 수 있게 될 것이다. 이 목표를 달성하기 위한 전략은 더 설명 가능한 모델을 생산하는 새로운 또는 수정된 머신러닝 기법을 개발하는 것이다.

이러한 모델은 최종 사용자를 위한 이해 가능하고 유용한 설명적 대화로 모델을 변환할 수 있는 첨단 인간-컴퓨터 인터페이스 기술과 결합된다. 우리의 전략은 미래의 개발자에게 성능 대 설명 간의 타협 영역에 관한 다양한 설계 옵션을 제공하는 여러 방법의 포트폴리오를 마련하기 위해 다양한 기법을 추구하는 것이다.
 

구글 클라우드의 설명 가능한 AI

구글 클라우드 플랫폼은 오토ML 테이블과 AI 플랫폼 서비스에서 작동하는 설명 가능한 AI 툴과 프레임워크를 제공한다. 이러한 툴은 특징 귀속을 이해하고 가정(What-If) 툴을 사용해 모델 동작을 시각적으로 살펴보는 데 도움이 된다.
 
AI 설명은 모델 예측의 최종 결과에 각각의 요소가 어떻게 기여했는지를 설명하는 점수를 제공한다. 가정 툴은 데이터 집합의 다양한 특징, 최적화 전략, 개별 데이터 포인트 값 조작에 따른 모델 성능을 살펴볼 수 있게 해준다.
 
지속적 평가를 통해 AI 플랫폼에 배포된 학습된 머신러닝 모델의 예측을 샘플링하고 지속적 평가 기능을 사용해 예측 입력에 대한 실측 레이블을 제공할 수 있다. 데이터 레이블링 서비스는 모델 예측을 실측 레이블과 비교해서 모델 성능을 개선하는 데 도움을 준다.
 
AI 플랫폼에서 예측을 요청할 때마다 AI 설명이 데이터의 각 특징이 예측된 결과에 얼만큼 기여했는지를 알려준다.
 

H2O.ai의 머신러닝 해석성 

H2O 드라이버리스 AI(Driverless AI)는 머신러닝 해석성(MLI) 모듈을 통해 설명 가능한 AI를 구현한다. H2O 드라이버리스 AI의 이 기능은 인터랙티브 대시보드에서 LIME, 셰이프리(Shapley), 대체 의사 결정 트리, 부분 의존과 같은 여러 기법과 방법을 결합 사용해 드라이버리스 AI 모델과 외부 모델의 결과를 설명한다.
 
또한 드라이버리스 AI의 자동 문서화(AutoDoc) 기능은 관련된 모든 데이터 분석, 모델링 및 설명 결과가 포함된 단일 문서를 생성해서 드라이버리스 AI 모델에 대한 투명성과 감사 증적을 제공한다. 이 문서는 데이터 과학자가 모델 문서화에 소비하는 시간을 절약하는 데 도움이 된다. 문서를 비즈니스 담당자나 모델 평가자에게 전달하여 드라이버리스 AI 모델에 대한 이해와 신뢰를 높일 수도 있다.
 

데이터로봇의 인간 해석 가능 모델

필자가 2020년 12월에 리뷰한 적이 있는 데이터로봇(DataRobot)에는 사람의 해석 가능성이 높은 모델의 기반이 되는 다음과 같은 여러 구성요소가 포함되어 있다.

• 모델 블루프린트(Model Blueprint)는 각 모델이 결과에 도달하기 위해 사용하는 전처리 단계에 대한 시야를 제공한다. 이는 데이터로봇을 사용해 구축한 모델을 정당화하고 필요한 경우 규제 기관을 대상으로 모델을 설명하는 데 도움이 된다.

• 예측 설명(Prediction Explanation)은 각 레코드에 대해 모델의 결과에 영향을 미친 주요 변수를 보여준다. 모델이 해당 결론에 이른 이유를 정확히 설명할 수 있게 해준다.

• 특징 핏(Feature Fit) 차트는 예측 값과 실제 값을 비교하고 중요도에 따라 정렬하여 각 개별 특징에 대한 모델의 핏을 평가할 수 있게 해준다.

• 특징 효과(Feature Effects) 차트는 모델에 가장 큰 영향을 미치는 특징이 무엇인지, 각 특징 값의 변화가 모델의 결과에 어떤 영향을 미치는지를 보여준다.
데이터로봇은 모델의 해석성을 높이고 모델 위험을 최소화하고 기업에서 규정 및 모범 사례에 쉽게 부합할 수 있게 해준다.
 

다타이쿠의 해석성 기법

다타이쿠(Dataiku)는 머신러닝 모델 동작을 더 잘 이해하고 설명하기 위한 다음과 같은 다양한 해석성 기법을 모아서 제공한다.

• 전역 특징 중요도: 어느 특징이 가장 중요하고 모델에 어떻게 기여하는가?
• 부분 의존 플롯: 한 특징의 여러 값에 걸쳐 그 특징에 대한 모델의 의존성을 살펴본다.
• 부분모집단 분석: 모델 상호작용 또는 편향성이 존재하는가?
• 개별 예측 설명(SHAP, ICE): 개별적인 관측에서 각 특징이 예측에 어떻게 기여하는가?
• 트리 기반 모델의 인터랙티브 의사 결정 트리: 예측에 이르게 된 분할과 확률은 무엇인가?
• 모델 주장: 모델의 예측이 알려진 사례와 가장자리 사례에 대한 분야 전문가의 직관을 충족하는가?
• 머신 러닝 진단: 내 방법이 건전한가, 또는 데이터 누출, 오버피팅, 타겟 불균형과 같은 근본적인 문제가 있는가?
• 가정 분석: 일련의 입력이 주어질 때 모델은 무엇을 예측하고, 입력 값의 변화에 대해 모델이 민감한 이유과 그 양상은 무엇인가?
• 모델 공정성 분석: 모델이 민감한 그룹 또는 속성에 유리하게 또는 불리하게 편향되는가?
 
설명 가능한 AI가 마침내 주목을 받고 있다. 블랙박스 모델보다 “글래스박스” 모델이 항상 더 선호되는 지점까지 아직 이르지는 못했지만, 그 지점에 가까워지고 있다. 이 간극을 잇기 위해 블랙박스 모델을 설명하는 다양한 포스트-혹 기법이 존재한다. editor@itworld.co.kr 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.