2021.03.29

시민 개발자의 AI 구축에 책임감 더하기 

James Kobielus | InfoWorld
AI 업계는 현재 새로운 세대의 시민 개발자 수용이라는 위험한 게임을 벌이고 있다. AI 솔루션 제공업체, 컨설턴트들은 한쪽에서 “책임감 있는 AI”에 관한 그럴 듯한 이야기를 하고, 다른 한쪽에서는 새로운 세대의 비전문 개발자들이 온갖 곳에 딥러닝, 머신 러닝, 자연어 처리 같은 인텔리전스를 구축해 넣도록 유도하고 있다.
 
책임감 있는 기술 사용에 대한 관심을 두고, 비판적인 사람은 ‘더 강력한 규제의 필요성을 누그러뜨리기 위한 AI 업계의 책략’으로 보기도 한다. 물론 업체가 고객의 제품 사용 방식을 감시하리라고 기대하기는 어렵다. 개인정보를 침해하고 사회적 편견을 부추기고 윤리적 실수를 저지르는 애플리케이션을 억제하기 위해 업계가 주로 쓰는 방법은 책임감 있는 AI에 관한 올바른 생각을 담은 논문을 발표하는 정도다. 최근 예만 봐도 마이크로소프트, 구글, 액센추어, PwC, 딜로이트, 그리고 윤리적 AI 및 머신러닝을 위한 협회(Institute for Ethical AI and Machine Learning)에서도 그러한 문서를 발표했다.
 
ⓒ dny59 / kentoh / Getty Images

AI 업체들이 취하고 있는 또 다른 방법은 개발 툴과 런타임 플랫폼에 책임감 있는 AI 기능을 집어넣는 것이다. 최근 필자의 관심을 끈 이벤트는 마이크로소프트의 애저 퍼셉트(Azure Percept) 공개 프리뷰 버전 발표다. 소프트웨어, 하드웨어, 서비스 묶음인 애저 퍼셉트는 엣지 구축을 위한 AI 애플리케이션의 대량 개발을 촉진하도록 설계됐다.
 
기본적으로 애저 퍼셉트는 사회적 관점에서 보면 매우 무책임한 AI 애플리케이션 개발을 유도할 수 있다. 염탐, 감시, 도청을 주 용도로 하는 스마트 카메라, 스마트 스피커 및 기타 플랫폼에 내장되는 AI를 생각해 보자. 애저 퍼셉트의 구체적인 기능은 다음과 같다.

• 이러한 애플리케이션의 개발 속도를 높이는 로우 코드 소프트웨어 개발 키트를 제공한다.
• 애저 코그니티브 서비스(Azure Cognitive Services), 애저 머신 러닝(Azure Machine Learning), 애저 라이브 비디오 애널리틱스(Azure Live Video Analytics) 및 애저 IoT(사물인터넷) 서비스와 통합된다.
• 애저의 디바이스 관리, AI 모델 개발 및 분석 서비스와의 통합을 통해 많은 데브옵스 작업을 자동화한다.
• 사물 탐지, 진열대 분석, 이상 탐지, 키워드 포착 및 기타 엣지 기능을 위한 사전 구축된 애저 및 오픈소스 AI 모델에 대한 액세스를 제공한다.
• 간헐적으로 연결되는 엣지 디바이스와 애저 클라우드 사이에 안정적이고 안전한 통신을 자동으로 보장한다.
• 하드웨어 가속 AI 모듈이 내장된 지능형 카메라와 음성 지원 스마트 오디오 디바이스 플랫폼을 포함한다.
 
마이크로소프트는 애저 퍼셉트를 발표하면서 책임감 있는 AI에 대해서도 언급했는데, 굳이 들을 필요도 없는 뻔한 이야기였다. 마이크로소프트는 제품의 핵심에 관한 토론 후 다음과 같은 내용을 발표했다.
 
“애저 퍼셉트는 애저에서 실행되므로 애저 플랫폼에 이미 내장된 보안 보호 기능을 포함한다. 개발 키트부터 서비스, 애저 AI 모델에 이르기까지 애저 퍼셉트 플랫폼의 모든 구성요소는 마이크로소프트의 책임감 있는 AI 원칙에 따라 작동하기 위한 마이크로소프트의 내부 평가 프로세스를 거쳤다. 애저 퍼셉트 팀은 책임감 있는 AI 개발 및 배포에 관한 우려를 이해하기 위해 현재 몇몇 초기 고객과 함께 작업 중이며, 앞으로 고객이 자체적으로 책임감 있는 AI 구현을 추구할 수 있도록 문서와 함께 페어런(Fairlearn), 인터프리트ML(InterpretML)과 같은 툴킷에 대한 액세스를 제공할 것이다.”
 
필자는 이 툴킷과 다른 마이크로소프트 툴킷이 AI 애플리케이션의 이탈을 박는 가드레일을 구축하는 데 상당히 유용할 것임을 확신한다. 그러나 AI 애플리케이션(모든 AI 제품)에 책임감을 내장할 수 있다는 개념에는 문제가 많다.
 
원래의 설계가 아무리 선의로 이루어졌다 해도 부도덕한 사람은 오용해서 무책임한 결과를 끌어낼 수 있다. 페이스북이 최근 “권력 기관이 사용자 개인정보를 침해할 수 없음을 확신할 수 있는 경우에 한해” 스마트 글라스 제품에 얼굴 인식 기술을 집어넣는 방안을 고려 중이라고 발표했는데, 이에 관한 기사에도 관련 내용이 잘 나와 있다. 그런데 사용자 개인정보를 침해하는 데 전혀 관심이 없거나 그럴 능력이 없는 권력 기관이 존재하기는 할까?
 
또한 책임감 있는 AI와 같은 말에 내포된 광범위하고 모호한, 또는 정성적 원칙에의 부합성을 인증할 수 있는 구성요소는 애초에 없다. AI 애플리케이션이 올바르게 움직여야 할 때 필요한 요소를 세부적으로 보려면 데브옵스 워크플로우에 윤리적 AI 우려를 반영할 때 직면하는 어려움에 관한 최근 기사에서 언급한 바 있다. 완성된 제품에서 “책임감 있는” 결과를 보장하기 위한 포괄적인 접근 방법에는 최소한 엄격한 이해관계자의 검토, 알고리즘 투명성, 품질 보증, 위엄 완화 통제 수단, 그리고 체크포인트가 필요하다.
 
책임감 있는 AI가 개별적인 소프트웨어 엔지니어링 스타일이라면, 애저 퍼셉트로 구축한 앱이 객관적인 시각에서 윤리적이고 공정하고 믿을 수 있고 안전하고 개인정보를 지키고 보안을 유지하고 포용적이고 투명하고 책임감이 있는 결과를 생선하는지 인증할 때 사용할 수 있는 명확한 척도가 있어야 한다. 마이크로소프트는 이러한 체크리스트 개발을 위한 접근 방식을 마련하기 시작했지만 소프트웨어 개발 작업의 체크포인트에서 사용할 툴로 도입되기까지는 아직 먼 이야기다. 또한 체크리스트 하나만으로는 충분하지 않을 수도 있다. 필자는 2018년에 실험실 시나리오에서 AI 제품의 안전을 인증하는 데 있어서의 어려움에 관한 글을 쓴 적이 있다.
 
사용자에게 표준 엣지 AI 애플리케이션 패턴을 따를 것을 의무화하는 손쉬운 방법으로 책임감 있는 AI가 가능하다 해도 마이크로소프트나 다른 업체가 이러한 원칙을 열심히 추종하는 방대한 엣지 AI 개발자 생태계를 구축할 수 있을 것이라고 기대하기는 어렵다.
 
마이크로소프트가 발표한 애저 퍼셉트에는 엣지 AI 솔루션 개발, 학습 및 배포 방법에 관한 내용이 담긴 가이드가 포함된다. 이러한 방법도 중요하지만 애플리케이션 개발에서 책임감의 진정한 의미가 무엇인지에 대해서도 논의해야 한다. 사회적으로 부정적인 영향을 가능성이 있는 엣지 AI와 같은 애플리케이션을 승인할지를 고려할 때 개발자는 다음에 대한 책임을 져야 한다.

• 자제 : 엣지 AI 애플리케이션을 애초에 제안해야 하는지 여부부터 고려하라. 당위성이 없다면 자제력을 발휘해 아이디어를 포기한다. 예를 들어 전체주의 정권의 손에 들어갈 가능성이 충분히 있다면 강력한 지능을 갖춘 새로운 카메라는 아예 제안하지 않는 것이 최선이다.

• 허가 : 엣지 AI 애플리케이션을 구축하기 위한 공식적인 승인을 얻기에 앞서 적절한 규제, 법률 또는 비즈니스 기구의 허가를 받아야 하는가? 스피커의 존재를 인지하지 못하는 먼 거리에 있는 사람의 말을 인식할 수 있는 스마트 스피커를 생각해 보자. 치매 또는 언어 장애가 있는 사람들의 음성 제어 응답 용도로는 매우 유용할 수 있지만 그 외의 시나리오에 투입된다면 개인정보 보호 측면에서 최악의 상황이 일어난다.

• 꾸준함 : 예상 가능한 조건에서 IT 관리자가 엣지 AI 애플리케이션의 규정 준수 상태를 꾸준히 유지할 수 있는지 여부를 물어야 한다. 예를 들어 스트리밍 비디오 레코딩 시스템은 자동으로 새 데이터 소스를 발견해서 연계를 통해 비디오 피사체에 관한 포괄적인 개인 데이터를 조합할 수 있다. 따로 프로그램되지 않더라도 이러한 시스템은 은밀하게 개인정보와 시민자유를 침해할 수 있다.
 
개발자가 엣지 AI 애플리케이션 라이프사이클을 관리하면서 이러한 원칙을 고수하지 않을 경우 대부분 무책임한 행동으로 이어지게 된다. 결국 개발자들이 구축하는 AI 기반 솔루션의 핵심 용도는 지속적으로, 지능적으로 사람들을 보고 듣는 데 있기 때문이다.
 
잘못될 리가 전혀 없다는 생각은 안이할 뿐이다. editor@itworld.co.kr 


2021.03.29

시민 개발자의 AI 구축에 책임감 더하기 

James Kobielus | InfoWorld
AI 업계는 현재 새로운 세대의 시민 개발자 수용이라는 위험한 게임을 벌이고 있다. AI 솔루션 제공업체, 컨설턴트들은 한쪽에서 “책임감 있는 AI”에 관한 그럴 듯한 이야기를 하고, 다른 한쪽에서는 새로운 세대의 비전문 개발자들이 온갖 곳에 딥러닝, 머신 러닝, 자연어 처리 같은 인텔리전스를 구축해 넣도록 유도하고 있다.
 
책임감 있는 기술 사용에 대한 관심을 두고, 비판적인 사람은 ‘더 강력한 규제의 필요성을 누그러뜨리기 위한 AI 업계의 책략’으로 보기도 한다. 물론 업체가 고객의 제품 사용 방식을 감시하리라고 기대하기는 어렵다. 개인정보를 침해하고 사회적 편견을 부추기고 윤리적 실수를 저지르는 애플리케이션을 억제하기 위해 업계가 주로 쓰는 방법은 책임감 있는 AI에 관한 올바른 생각을 담은 논문을 발표하는 정도다. 최근 예만 봐도 마이크로소프트, 구글, 액센추어, PwC, 딜로이트, 그리고 윤리적 AI 및 머신러닝을 위한 협회(Institute for Ethical AI and Machine Learning)에서도 그러한 문서를 발표했다.
 
ⓒ dny59 / kentoh / Getty Images

AI 업체들이 취하고 있는 또 다른 방법은 개발 툴과 런타임 플랫폼에 책임감 있는 AI 기능을 집어넣는 것이다. 최근 필자의 관심을 끈 이벤트는 마이크로소프트의 애저 퍼셉트(Azure Percept) 공개 프리뷰 버전 발표다. 소프트웨어, 하드웨어, 서비스 묶음인 애저 퍼셉트는 엣지 구축을 위한 AI 애플리케이션의 대량 개발을 촉진하도록 설계됐다.
 
기본적으로 애저 퍼셉트는 사회적 관점에서 보면 매우 무책임한 AI 애플리케이션 개발을 유도할 수 있다. 염탐, 감시, 도청을 주 용도로 하는 스마트 카메라, 스마트 스피커 및 기타 플랫폼에 내장되는 AI를 생각해 보자. 애저 퍼셉트의 구체적인 기능은 다음과 같다.

• 이러한 애플리케이션의 개발 속도를 높이는 로우 코드 소프트웨어 개발 키트를 제공한다.
• 애저 코그니티브 서비스(Azure Cognitive Services), 애저 머신 러닝(Azure Machine Learning), 애저 라이브 비디오 애널리틱스(Azure Live Video Analytics) 및 애저 IoT(사물인터넷) 서비스와 통합된다.
• 애저의 디바이스 관리, AI 모델 개발 및 분석 서비스와의 통합을 통해 많은 데브옵스 작업을 자동화한다.
• 사물 탐지, 진열대 분석, 이상 탐지, 키워드 포착 및 기타 엣지 기능을 위한 사전 구축된 애저 및 오픈소스 AI 모델에 대한 액세스를 제공한다.
• 간헐적으로 연결되는 엣지 디바이스와 애저 클라우드 사이에 안정적이고 안전한 통신을 자동으로 보장한다.
• 하드웨어 가속 AI 모듈이 내장된 지능형 카메라와 음성 지원 스마트 오디오 디바이스 플랫폼을 포함한다.
 
마이크로소프트는 애저 퍼셉트를 발표하면서 책임감 있는 AI에 대해서도 언급했는데, 굳이 들을 필요도 없는 뻔한 이야기였다. 마이크로소프트는 제품의 핵심에 관한 토론 후 다음과 같은 내용을 발표했다.
 
“애저 퍼셉트는 애저에서 실행되므로 애저 플랫폼에 이미 내장된 보안 보호 기능을 포함한다. 개발 키트부터 서비스, 애저 AI 모델에 이르기까지 애저 퍼셉트 플랫폼의 모든 구성요소는 마이크로소프트의 책임감 있는 AI 원칙에 따라 작동하기 위한 마이크로소프트의 내부 평가 프로세스를 거쳤다. 애저 퍼셉트 팀은 책임감 있는 AI 개발 및 배포에 관한 우려를 이해하기 위해 현재 몇몇 초기 고객과 함께 작업 중이며, 앞으로 고객이 자체적으로 책임감 있는 AI 구현을 추구할 수 있도록 문서와 함께 페어런(Fairlearn), 인터프리트ML(InterpretML)과 같은 툴킷에 대한 액세스를 제공할 것이다.”
 
필자는 이 툴킷과 다른 마이크로소프트 툴킷이 AI 애플리케이션의 이탈을 박는 가드레일을 구축하는 데 상당히 유용할 것임을 확신한다. 그러나 AI 애플리케이션(모든 AI 제품)에 책임감을 내장할 수 있다는 개념에는 문제가 많다.
 
원래의 설계가 아무리 선의로 이루어졌다 해도 부도덕한 사람은 오용해서 무책임한 결과를 끌어낼 수 있다. 페이스북이 최근 “권력 기관이 사용자 개인정보를 침해할 수 없음을 확신할 수 있는 경우에 한해” 스마트 글라스 제품에 얼굴 인식 기술을 집어넣는 방안을 고려 중이라고 발표했는데, 이에 관한 기사에도 관련 내용이 잘 나와 있다. 그런데 사용자 개인정보를 침해하는 데 전혀 관심이 없거나 그럴 능력이 없는 권력 기관이 존재하기는 할까?
 
또한 책임감 있는 AI와 같은 말에 내포된 광범위하고 모호한, 또는 정성적 원칙에의 부합성을 인증할 수 있는 구성요소는 애초에 없다. AI 애플리케이션이 올바르게 움직여야 할 때 필요한 요소를 세부적으로 보려면 데브옵스 워크플로우에 윤리적 AI 우려를 반영할 때 직면하는 어려움에 관한 최근 기사에서 언급한 바 있다. 완성된 제품에서 “책임감 있는” 결과를 보장하기 위한 포괄적인 접근 방법에는 최소한 엄격한 이해관계자의 검토, 알고리즘 투명성, 품질 보증, 위엄 완화 통제 수단, 그리고 체크포인트가 필요하다.
 
책임감 있는 AI가 개별적인 소프트웨어 엔지니어링 스타일이라면, 애저 퍼셉트로 구축한 앱이 객관적인 시각에서 윤리적이고 공정하고 믿을 수 있고 안전하고 개인정보를 지키고 보안을 유지하고 포용적이고 투명하고 책임감이 있는 결과를 생선하는지 인증할 때 사용할 수 있는 명확한 척도가 있어야 한다. 마이크로소프트는 이러한 체크리스트 개발을 위한 접근 방식을 마련하기 시작했지만 소프트웨어 개발 작업의 체크포인트에서 사용할 툴로 도입되기까지는 아직 먼 이야기다. 또한 체크리스트 하나만으로는 충분하지 않을 수도 있다. 필자는 2018년에 실험실 시나리오에서 AI 제품의 안전을 인증하는 데 있어서의 어려움에 관한 글을 쓴 적이 있다.
 
사용자에게 표준 엣지 AI 애플리케이션 패턴을 따를 것을 의무화하는 손쉬운 방법으로 책임감 있는 AI가 가능하다 해도 마이크로소프트나 다른 업체가 이러한 원칙을 열심히 추종하는 방대한 엣지 AI 개발자 생태계를 구축할 수 있을 것이라고 기대하기는 어렵다.
 
마이크로소프트가 발표한 애저 퍼셉트에는 엣지 AI 솔루션 개발, 학습 및 배포 방법에 관한 내용이 담긴 가이드가 포함된다. 이러한 방법도 중요하지만 애플리케이션 개발에서 책임감의 진정한 의미가 무엇인지에 대해서도 논의해야 한다. 사회적으로 부정적인 영향을 가능성이 있는 엣지 AI와 같은 애플리케이션을 승인할지를 고려할 때 개발자는 다음에 대한 책임을 져야 한다.

• 자제 : 엣지 AI 애플리케이션을 애초에 제안해야 하는지 여부부터 고려하라. 당위성이 없다면 자제력을 발휘해 아이디어를 포기한다. 예를 들어 전체주의 정권의 손에 들어갈 가능성이 충분히 있다면 강력한 지능을 갖춘 새로운 카메라는 아예 제안하지 않는 것이 최선이다.

• 허가 : 엣지 AI 애플리케이션을 구축하기 위한 공식적인 승인을 얻기에 앞서 적절한 규제, 법률 또는 비즈니스 기구의 허가를 받아야 하는가? 스피커의 존재를 인지하지 못하는 먼 거리에 있는 사람의 말을 인식할 수 있는 스마트 스피커를 생각해 보자. 치매 또는 언어 장애가 있는 사람들의 음성 제어 응답 용도로는 매우 유용할 수 있지만 그 외의 시나리오에 투입된다면 개인정보 보호 측면에서 최악의 상황이 일어난다.

• 꾸준함 : 예상 가능한 조건에서 IT 관리자가 엣지 AI 애플리케이션의 규정 준수 상태를 꾸준히 유지할 수 있는지 여부를 물어야 한다. 예를 들어 스트리밍 비디오 레코딩 시스템은 자동으로 새 데이터 소스를 발견해서 연계를 통해 비디오 피사체에 관한 포괄적인 개인 데이터를 조합할 수 있다. 따로 프로그램되지 않더라도 이러한 시스템은 은밀하게 개인정보와 시민자유를 침해할 수 있다.
 
개발자가 엣지 AI 애플리케이션 라이프사이클을 관리하면서 이러한 원칙을 고수하지 않을 경우 대부분 무책임한 행동으로 이어지게 된다. 결국 개발자들이 구축하는 AI 기반 솔루션의 핵심 용도는 지속적으로, 지능적으로 사람들을 보고 듣는 데 있기 때문이다.
 
잘못될 리가 전혀 없다는 생각은 안이할 뿐이다. editor@itworld.co.kr 


X