AI / 오픈소스

"알고리즘 공정성을 검증하라" 인공지능 '편향 완화'의 이해

Kathy Baxter | InfoWorld 2021.08.27
알고리즘 편향은 AI 업계에서 철저한 검토가 가장 활발히 진행 중인 분야다. 의도치 않은 시스템적 오류는 부당하거나 제멋대로인 결과로 이어질 위험이 있고, 특히 AI 시장이 2024년이면 1,100억 달러 규모에 이를 것으로 예상되는 상황에서 윤리적이고 책임 있는 표준화된 검토 기술의 필요성이 높아지고 있다.

AI는 여러 가지 방식으로 편향되고 해로운 결과를 만들어낼 수 있다. 먼저, AI로 증강하거나 대체하려는 비즈니스 프로세스 그 자체다. 만일 그 프로세스와 맥락, 그리고 적용 대상이 의도와 관계없이 특정 집단에 대해 편향돼 있다면 그 결과로 나온 AI 애플리케이션 역시 편향된다.

또한, AI 개발자가 시스템의 목표, 사용자, 영향을 받는 대상의 가치관, 적용 방식 등에 대해 가진 근본적인 가정으로 인해 해로운 편향이 들어갈 수 있고, AI 시스템의 학습 및 평가에 사용되는 데이터 집합 내 데이터가 영향을 미칠 모든 사람을 대표하지 않거나 특정 집단에 대한 역사적, 체계적 편향을 나타낸다면 결과적으로 해를 끼칠 수 있다.

마지막으로는 모델 자체가 편향될 수 있다. 나이, 인종, 성별 등 민감한 변수, 또는 이름, 우편번호 등 대체 정보가 모델의 예측 또는 추천 요인인 경우다. 따라서 개발자는 각 분야의 어디에 편향이 존재하는지 파악해야 하고 부당한 모델로 이어지는 시스템과 프로세스를 객관적으로 감사해야 한다. 물론 이 작업이 말처럼 쉽지는 않다. 공정성의 정의는 21가지가 넘을 정도로 다양하다.

AI를 책임 있게 만들기 위해서는 AI 개발 생애주기 전체에 걸쳐 윤리를 계획적으로 구축해 넣는 것이 편향 완화에 무엇보다 중요하다. 지금부터 각 단계를 자세히 살펴보자.
 
애자일 시스템에서의 책임 있는 AI 개발 생애주기
 

범위

모든 기술 프로젝트는 단순히 '구축 가능한가?'가 아닌 '이것이 존재해도 되는가?'라는 질문으로 시작해야 한다. 즉, 기술이 모든 문제나 과제의 해결책이라고 믿는 기술만능주의의 함정에 빠져서는 안 된다.

특히 AI의 경우에는 당면 목표 달성에 AI가 적합한 솔루션인지 물어야 한다. AI의 목표에 대해서, 영향을 받게 될 사람들에 대해, 사용 맥락에 대해서 어떠한 가정을 하고 있는지, 시스템에 필요한 훈련 데이터에 영향을 미칠 수 있는 사회적 또는 역사적 편향이나 기지의 위험이 있는지 등이다. 우리는 모두 암묵적인 편향을 갖고 있다. 역사적인 성차별, 인종차별, 장애인 차별 등의 편향은 이를 해결하기 위한 분명한 조처를 하지 않는 한 AI에서 더 증폭된다.
 

검토

이러한 편향은 찾아내기 전까지는 해결할 수 없다. 그래서 필요한 것이 검토 단계다. 우리의 가정을 철저하게 검증하기 위해 심도 있는 사용자 조사가 필요하다. 데이터 집합에 누가 포함되고, 누가 대표 혹은 배제되는지, AI에 의해 누가 어떻게 영향을 받는지 등을 검토해야 한다.

이 단계에서 활용하는 것이 바로 결과 검사 워크숍, 피해 모델링과 같은 방법론이다. 목표는 AI 시스템이 악성 행위자에 의해서든 의도는 좋은 순진무구한 행위자에 의해서든 의도치 않은 피해를 야기할 수 있는 방식을 파악하는 것이다.

그렇다면 부지불식간에 피해를 야기하는 AI 사용 방식의 확실한 대안은 무엇일까. 특히 어린이, 노인, 장애인, 빈곤층, 소외계층 등 가장 취약한 계층이 입을 수 있는 피해를 어떻게 완화할 수 있을까. 일단, 발생 가능성이 가장 높고 가장 심각한 피해를 완화할 방법을 파악하는 것이 불가능하다면 멈춰야 한다. 개발 중인 AI 시스템이 존재해서는 안 된다는 신호이기 때문이다.
 

테스트

오늘날 데이터 집합과 모델 내의 편향 및 공정성 파악에 사용할 수 있는 오픈소스 툴은 다양하다. 예를 들어, 구글의 WIT(What-If Tool), ML 페어니스 짐(Fairness Gym), IBM의 AI 360 페어니스(Fairness), 애퀴타스(Aequitas), 페어런(FairLearn) 등이다.

데이터의 대표성이나 균형성에 대한 이해를 높이기 위한 데이터 시각화 및 상호작용에 사용할 수 있는 툴들도 있다. 구글의 페시츠(Facets), IBM AI 360 익스플레이너빌리티(Explainability)가 대표적이다. 이들 툴 중에는 편견 완화 기능이 들어 있는 것도 있지만 대부분은 없으므로 별도의 툴을 구매해야 할 수도 있다.

경쟁자 역할을 하는 레드 팀(red teaming)을 구성하는 방법도 있다. 이는 보안 분야에서 따온 것인데 윤리적 사용 맥락에 쓰이는 경우를 가정해 AI 시스템 사용이 피해를 야기하는 방식으로 테스트한다. 이를 통해 윤리적(또한 잠재적으로 법적) 위험이 드러나면 해결 방법을 마련한다.

AI 시스템의 잠재적인 해나 의도치 않은 결과를 파악하기 위해 지역사회 배심원단을 활용하는 방법도 있다. 이를 통해 다양한 계층, 특히 소외된 지역사회의 대표인단을 소집해 특정 시스템이 그들에게 어떻게 영향을 미칠지에 대한 그들의 관점을 더 명확하게 파악할 수 있다.
 

완화

AI 편견의 피해를 완화하는 방법은 다양하다. 개발자가 가장 위험한 기능을 제거하거나 앱 내 메시지에 경고 형식으로 의식적인 반대 의견을 제공해 사람들이 AI를 책임 있게 사용하도록 안내하는 방법이 있다.

혹은 시스템이 사용하는 방식을 긴밀히 감시 및 통제해 해가 감지되면 시스템을 사용할 수 없게 만드는 방법도 있다. 물론 이런 종류의 관리와 통제가 불가능한 경우도 있다. 사용자가 본인의 데이터 집합에 직접 모델을 구축해 학습하는 테넌트 전용 모델이 대표적이다.

데이터 집합과 모델 내의 편향을 직접 다루고 완화하는 방법도 있다. 편향 완화 과정은 처리 전(학습 데이터의 편향 완화), 처리 중(분류자의 편향 완화), 처리 후(예측 내용의 편향 완화) 등 모델의 다양한 단계에 도입할 수 있다. 여기서도 이 3가지 고유 범주를 자세히 살펴본다. 참고로 이러한 범주가 정의된 것은 IBM의 초기 작업 덕분이다.

처리 전 편향 완화 : 처리 전 완화는 학습 데이터에 집중한다. 학습 데이터는 AI 개발 첫 단계를 뒷받침하며 근원적인 편향이 도입될 가능성이 높다. 예를 들어 특정 성별이 채용되거나 대출을 받는 가능성이 높거나 낮아지는 등의 모델 수행 상태를 분석할 때 차별 효과가 발생할 수 있다. 이를 해로운 편향(예: 한 여성이 대출 상환 능력이 있어도 성별을 주된 이유로 대출 신청이 거절되는 경우) 또는 공정성(예: 성별 균형이 맞게 채용하고 싶다)의 측면에서 검토해야 한다.

또한, 학습 데이터 단계에는 사람이 많이 개입하는데 사람에게는 내재적인 편향이 있다. 기술 구축과 구현을 담당하는 팀에 다양성이 부족할수록 부정적인 결과의 가능성이 커진다. 예를 들어, 특정 집단이 데이터 집합에서 의도치 않게 배제되면, 데이터가 모델 학습에 사용되는 방식 때문에 자동으로 시스템에 의해 한 데이터 집합 또는 개인 집단이 상당히 불리한 위치에 처하게 된다.

처리 중 편향 완화 : 처리 중 기법을 활용하면 모델 작업을 하면서 분류자 내 편향을 완화할 수 있다. 머신 러닝에서 분류자는 자동으로 데이터를 하나 이상의 집합으로 분류하거나 정돈하는 알고리즘이다. 이 과정의 목표는 정확성을 넘어 시스템의 공정성과 정확성을 둘 다 보장하는 것이다.

적대적 편향 제거는 이 단계에서 정확성을 극대화하는 동시에 예측 내용에 있는 차별 금지 사유의 증거를 줄이기 위해 사용할 수 있는 기법이다. 기본적으로 목표는 부정적인 편향이 프로세스에 영향을 미치는 방식에 대한 일종의 역반응으로 '시스템을 거슬러서' 시스템이 하기 싫어할 수도 있는 일을 하도록 하는 것이다.

예를 들어, 금융기관이 대출 승인에 앞서 고객의 ‘상환 능력’을 측정하고자 할 때, 해당 기관의 AI 시스템은 인종과 성별 또는 대용 변수(예: 인종과 상관관계가 있을 수 있는 우편번호)와 같은 민감하거나 차별해서는 안 되는 변수를 바탕으로 누군가의 상환 능력을 예측할 수 있다. 이러한 처리 중 편향은 부정확하고 부당한 결과로 이어진다.

처리 중 (편향 완화) 기법은 AI 학습 중에 약간의 수정을 적용하기 때문에 모델이 정확한 결과를 생산해 내도록 하는 동시에 편향을 완화할 수 있다.

처리 후 편향 완화 : 처리 후 편향 완화는 개발자가 모델 학습을 마쳤지만 이제는 결과를 일정하게 하려 할 때 유용하다. 이 단계에서의 목표는 예측 내용의 편향을 완화하는 것이므로 분류자나 학습 데이터 대신 모델의 결과만 조정한다.

그러나, 출력물을 조정하다 보면 정확성이 바뀔 수 있다. 예를 들어, 만일 이 프로세스에서 관련 보유 기술이 아닌 남녀 비율이 같은 결과를 선호한다면 자격을 갖춘 특정 성별을 더 적게 채용되는 결과를 낳을 수 있다. 이는 모델의 정확성에 영향을 미치는 것이지만, 원했던 목표를 달성할 수 있다.
 

운영 개시 및 감시

특정 모델이 학습을 거쳐서 사전에 규정된 편향 또는 공정성 임곗값을 개발자가 만족할 정도로 충족하고 나면, 모델이 학습된 방식, 모델의 작동 방식, 의도한 용례와 의도하지 않은 용례, 팀이 수행한 편향 평가, 사회적 또는 윤리적 위험 등을 문서화해야 한다.

이 정도 수준의 투명성은 사용자가 AI를 신뢰하는 데 도움이 될 뿐만 아니라 규제가 시행되는 업계에서 운영하려면 필수적일 수도 있다. 다행히 도움이 될 만한 오픈소스 툴도 많이 나와 있다. 예를 들면 구글의 모델 카트 툴킷(Model Card Toolkit), IBM의 AI 팩트시트(FactSheets) 360, 오픈 에틱스 라벨(Open Ethics Label) 등이다.

AI 시스템 운영을 개시한 후에 방치해서는 절대 안 되고 모델 이탈이 없는지 지속해서 감시해야 한다. 이탈은 모델의 정확성과 수행 능력은 물론 공정성에도 영향을 미칠 수 있기 때문이다. 모델을 정기적으로 테스트하고 이탈이 너무 커지면 다시 학습할 준비를 해야 한다.
 

올바른 AI 만들기

AI를 ‘올바르게’ 만드는 일은 어렵지만 그 어느 때보다 더 중요하다. 실제로 최근 미국 연방거래위원회는 편향된 AI의 판매나 사용을 금지하는 규제 시행 가능성을 시사했고, 유럽 연합은 AI 규제를 위한 법적 제도를 준비 중이다. 책임 있는 AI는 사회에게 좋을 뿐만 아니라 더 나은 비즈니스 결과를 창출하고 법적 위험과 사회적 평판에 대한 위험을 줄인다.

중대한 경제적, 사회적, 정치적 과제를 해결하기 위해 새로운 애플리케이션이 만들어지면서 AI의 활용은 전 세계적으로 더 늘어날 것이다. 책임 있는 AI의 제작과 배치에 만능으로 적용할 수 있는 방식은 없지만 여기서 논의한 전략과 기법은 알고리즘 생애주기의 다양한 단계에 걸쳐 편향 완화를 통해 윤리적 기술에 더 가깝게 다가가는 데 도움이 될 것이다.

결국 기술이 선의로 만들어지도록 하고 의도치 않은 피해를 파악하기 위한 시스템이 갖추는 것은 모두의 책임이다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.