2019.02.01

ITWorld 용어풀이|설명가능한 AI

이대영 기자 | ITWorld
'설명가능한 AI(eXplainable AI, XAI)'란 의사 결정과 결론, 예측을 하는 AI가 제대로 판단하고 있는지 증빙할 수 있는 데이터를 차트와 분석을 통해 사용자에게 광범위하면서도 자세한 설명을 제공하는 것입니다. 한 마디로, 인공지능 스스로가 행한 결정과 판단을 사람이 이해하는 형태로 설명해주는 것을 의미합니다. 

인공지능(Aartificial Intelligence, AI)은 상황을 인식하고, 계획과 학습을 하고, 인간이나 다른 동물의 타고난 지능을 흉내내는 다양한 인지 기술(Cognitive Technologies)로 구성되어 있습니다. 지난 수십 년 동안 AI는 금방 이뤄질 것처럼 보였지만 실현되지 않은 채, 장기간 연구를 거듭해 왔습니다. 

최근 AI는 컴퓨팅 성능이 대폭 증가하고 연결된 장치가 매일 수많은 데이터를 생성하고 알고리즘과 AI 모델이 정교해지면서 엄청난 결실을 맺었습니다. 봇은 기계임을 알 수 없을 정도로 사람의 말을 할 수 있게 됐고, 자율주행 자동차는 복잡한 길을 스스로 주행할 수 있게 됐습니다. 뿐만 아니라 다양한 산업 분야의 기업이 인공지능을 도입해 고객 요청을 처리하는 봇을 구현하고, 비즈니스 프로세스를 자동화 할 애플리케이션에 알고리즘을 탑재하고 있습니다. 

하지만 AI 기술, 그 가운데서도 딥러닝(Deep Learning) 부분이 급속도로 발전하는 과정에서 자기 학습 신경망 내부의 수많은 연결을 이해하는 것은 물론, 이를 추적하는 것조차 불가능해졌습니다. 그래서 AI가 결정을 추론하는 방법과 과정을 사용자뿐만 아니라 이를 개발한 사람조차 알 수 없는 상황에 이르게 됐는데, 이를 AI의 블랙박스 또는 불투명성이라고 합니다. 

AI의 신경망이 어떤 방식으로 의사 결정에 이르는지 모른다면 신경망이 언제 실패하기 될지도 모르며, 신경망 행동에서 편향된 혹은 큰 피해를 유발하는 경계 사례(edge cases)가 모두 제거됐는지 여부를 확신할 수 없습니다. 특히 알고리즘의 조작가능성, 의사결정의 편향성 등의 문제가 세상에 알려졌을 때, 전문가조차 원인을 파악하지 못한 상황은 AI에 대한 신뢰도를 무너뜨릴 수 있습니다. 

앞으로 기업들이 AI를 많이 도입하면서 블랙박스 문제는 더욱 더 커질 전망입니다. 특히 금융 서비스나 자율주행 자동차 관련 산업 등 규제가 심한 업종이나 국방, 의료와 같은 국민의 생명과 자산과 관련된 분야에서는 AI의 의사결정에 대한 명확한 설명이 필요합니다. 

이를 해결하기 위해 제시된 것이 바로 설명가능한 AI입니다. 설명가능한 AI를 통해 개발자는 시스템에서 문제가 될만한 경계 사례를 인지하고 신경망을 학습시키는 데 사용되는 데이터에서 편향성을 파악할 수 있습니다. 또한 적용 모델의 정확성과 성능을 개선하는데 도움을 줄 수 있습니다. 특히 설명가능한 AI는 딥러닝을 통해 밝혀진 새로운 상관관계를 활용해 기업의 비즈니스 통찰력 확보와 프로세스 개선과 같은 영역에서 큰 잠재력을 제공할 수 있습니다. editor@itworld.co.kr 
 


2019.02.01

ITWorld 용어풀이|설명가능한 AI

이대영 기자 | ITWorld
'설명가능한 AI(eXplainable AI, XAI)'란 의사 결정과 결론, 예측을 하는 AI가 제대로 판단하고 있는지 증빙할 수 있는 데이터를 차트와 분석을 통해 사용자에게 광범위하면서도 자세한 설명을 제공하는 것입니다. 한 마디로, 인공지능 스스로가 행한 결정과 판단을 사람이 이해하는 형태로 설명해주는 것을 의미합니다. 

인공지능(Aartificial Intelligence, AI)은 상황을 인식하고, 계획과 학습을 하고, 인간이나 다른 동물의 타고난 지능을 흉내내는 다양한 인지 기술(Cognitive Technologies)로 구성되어 있습니다. 지난 수십 년 동안 AI는 금방 이뤄질 것처럼 보였지만 실현되지 않은 채, 장기간 연구를 거듭해 왔습니다. 

최근 AI는 컴퓨팅 성능이 대폭 증가하고 연결된 장치가 매일 수많은 데이터를 생성하고 알고리즘과 AI 모델이 정교해지면서 엄청난 결실을 맺었습니다. 봇은 기계임을 알 수 없을 정도로 사람의 말을 할 수 있게 됐고, 자율주행 자동차는 복잡한 길을 스스로 주행할 수 있게 됐습니다. 뿐만 아니라 다양한 산업 분야의 기업이 인공지능을 도입해 고객 요청을 처리하는 봇을 구현하고, 비즈니스 프로세스를 자동화 할 애플리케이션에 알고리즘을 탑재하고 있습니다. 

하지만 AI 기술, 그 가운데서도 딥러닝(Deep Learning) 부분이 급속도로 발전하는 과정에서 자기 학습 신경망 내부의 수많은 연결을 이해하는 것은 물론, 이를 추적하는 것조차 불가능해졌습니다. 그래서 AI가 결정을 추론하는 방법과 과정을 사용자뿐만 아니라 이를 개발한 사람조차 알 수 없는 상황에 이르게 됐는데, 이를 AI의 블랙박스 또는 불투명성이라고 합니다. 

AI의 신경망이 어떤 방식으로 의사 결정에 이르는지 모른다면 신경망이 언제 실패하기 될지도 모르며, 신경망 행동에서 편향된 혹은 큰 피해를 유발하는 경계 사례(edge cases)가 모두 제거됐는지 여부를 확신할 수 없습니다. 특히 알고리즘의 조작가능성, 의사결정의 편향성 등의 문제가 세상에 알려졌을 때, 전문가조차 원인을 파악하지 못한 상황은 AI에 대한 신뢰도를 무너뜨릴 수 있습니다. 

앞으로 기업들이 AI를 많이 도입하면서 블랙박스 문제는 더욱 더 커질 전망입니다. 특히 금융 서비스나 자율주행 자동차 관련 산업 등 규제가 심한 업종이나 국방, 의료와 같은 국민의 생명과 자산과 관련된 분야에서는 AI의 의사결정에 대한 명확한 설명이 필요합니다. 

이를 해결하기 위해 제시된 것이 바로 설명가능한 AI입니다. 설명가능한 AI를 통해 개발자는 시스템에서 문제가 될만한 경계 사례를 인지하고 신경망을 학습시키는 데 사용되는 데이터에서 편향성을 파악할 수 있습니다. 또한 적용 모델의 정확성과 성능을 개선하는데 도움을 줄 수 있습니다. 특히 설명가능한 AI는 딥러닝을 통해 밝혀진 새로운 상관관계를 활용해 기업의 비즈니스 통찰력 확보와 프로세스 개선과 같은 영역에서 큰 잠재력을 제공할 수 있습니다. editor@itworld.co.kr 
 


X