AI는 여러 가지 방식으로 편향되고 해로운 결과를 만들어낼 수 있다. 먼저, AI로 증강하거나 대체하려는 비즈니스 프로세스 그 자체다. 만일 그 프로세스와 맥락, 그리고 적용 대상이 의도와 관계없이 특정 집단에 대해 편향돼 있다면 그 결과로 나온 AI 애플리케이션 역시 편향된다.
또한, AI 개발자가 시스템의 목표, 사용자, 영향을 받는 대상의 가치관, 적용 방식 등에 대해 가진 근본적인 가정으로 인해 해로운 편향이 들어갈 수 있고, AI 시스템의 학습 및 평가에 사용되는 데이터 집합 내 데이터가 영향을 미칠 모든 사람을 대표하지 않거나 특정 집단에 대한 역사적, 체계적 편향을 나타낸다면 결과적으로 해를 끼칠 수 있다.
마지막으로는 모델 자체가 편향될 수 있다. 나이, 인종, 성별 등 민감한 변수, 또는 이름, 우편번호 등 대체 정보가 모델의 예측 또는 추천 요인인 경우다. 따라서 개발자는 각 분야의 어디에 편향이 존재하는지 파악해야 하고 부당한 모델로 이어지는 시스템과 프로세스를 객관적으로 감사해야 한다. 물론 이 작업이 말처럼 쉽지는 않다. 공정성의 정의는 21가지가 넘을 정도로 다양하다.
AI를 책임 있게 만들기 위해서는 AI 개발 생애주기 전체에 걸쳐 윤리를 계획적으로 구축해 넣는 것이 편향 완화에 무엇보다 중요하다. 지금부터 각 단계를 자세히 살펴보자.
범위
모든 기술 프로젝트는 단순히 '구축 가능한가?'가 아닌 '이것이 존재해도 되는가?'라는 질문으로 시작해야 한다. 즉, 기술이 모든 문제나 과제의 해결책이라고 믿는 기술만능주의의 함정에 빠져서는 안 된다.특히 AI의 경우에는 당면 목표 달성에 AI가 적합한 솔루션인지 물어야 한다. AI의 목표에 대해서, 영향을 받게 될 사람들에 대해, 사용 맥락에 대해서 어떠한 가정을 하고 있는지, 시스템에 필요한 훈련 데이터에 영향을 미칠 수 있는 사회적 또는 역사적 편향이나 기지의 위험이 있는지 등이다. 우리는 모두 암묵적인 편향을 갖고 있다. 역사적인 성차별, 인종차별, 장애인 차별 등의 편향은 이를 해결하기 위한 분명한 조처를 하지 않는 한 AI에서 더 증폭된다.
검토
이러한 편향은 찾아내기 전까지는 해결할 수 없다. 그래서 필요한 것이 검토 단계다. 우리의 가정을 철저하게 검증하기 위해 심도 있는 사용자 조사가 필요하다. 데이터 집합에 누가 포함되고, 누가 대표 혹은 배제되는지, AI에 의해 누가 어떻게 영향을 받는지 등을 검토해야 한다.이 단계에서 활용하는 것이 바로 결과 검사 워크숍, 피해 모델링과 같은 방법론이다. 목표는 AI 시스템이 악성 행위자에 의해서든 의도는 좋은 순진무구한 행위자에 의해서든 의도치 않은 피해를 야기할 수 있는 방식을 파악하는 것이다.
그렇다면 부지불식간에 피해를 야기하는 AI 사용 방식의 확실한 대안은 무엇일까. 특히 어린이, 노인, 장애인, 빈곤층, 소외계층 등 가장 취약한 계층이 입을 수 있는 피해를 어떻게 완화할 수 있을까. 일단, 발생 가능성이 가장 높고 가장 심각한 피해를 완화할 방법을 파악하는 것이 불가능하다면 멈춰야 한다. 개발 중인 AI 시스템이 존재해서는 안 된다는 신호이기 때문이다.
테스트
오늘날 데이터 집합과 모델 내의 편향 및 공정성 파악에 사용할 수 있는 오픈소스 툴은 다양하다. 예를 들어, 구글의 WIT(What-If Tool), ML 페어니스 짐(Fairness Gym), IBM의 AI 360 페어니스(Fairness), 애퀴타스(Aequitas), 페어런(FairLearn) 등이다.데이터의 대표성이나 균형성에 대한 이해를 높이기 위한 데이터 시각화 및 상호작용에 사용할 수 있는 툴들도 있다. 구글의 페시츠(Facets), IBM AI 360 익스플레이너빌리티(Explainability)가 대표적이다. 이들 툴 중에는 편견 완화 기능이 들어 있는 것도 있지만 대부분은 없으므로 별도의 툴을 구매해야 할 수도 있다.
경쟁자 역할을 하는 레드 팀(red teaming)을 구성하는 방법도 있다. 이는 보안 분야에서 따온 것인데 윤리적 사용 맥락에 쓰이는 경우를 가정해 AI 시스템 사용이 피해를 야기하는 방식으로 테스트한다. 이를 통해 윤리적(또한 잠재적으로 법적) 위험이 드러나면 해결 방법을 마련한다.
AI 시스템의 잠재적인 해나 의도치 않은 결과를 파악하기 위해 지역사회 배심원단을 활용하는 방법도 있다. 이를 통해 다양한 계층, 특히 소외된 지역사회의 대표인단을 소집해 특정 시스템이 그들에게 어떻게 영향을 미칠지에 대한 그들의 관점을 더 명확하게 파악할 수 있다.
완화
AI 편견의 피해를 완화하는 방법은 다양하다. 개발자가 가장 위험한 기능을 제거하거나 앱 내 메시지에 경고 형식으로 의식적인 반대 의견을 제공해 사람들이 AI를 책임 있게 사용하도록 안내하는 방법이 있다.혹은 시스템이 사용하는 방식을 긴밀히 감시 및 통제해 해가 감지되면 시스템을 사용할 수 없게 만드는 방법도 있다. 물론 이런 종류의 관리와 통제가 불가능한 경우도 있다. 사용자가 본인의 데이터 집합에 직접 모델을 구축해 학습하는 테넌트 전용 모델이 대표적이다.
데이터 집합과 모델 내의 편향을 직접 다루고 완화하는 방법도 있다. 편향 완화 과정은 처리 전(학습 데이터의 편향 완화), 처리 중(분류자의 편향 완화), 처리 후(예측 내용의 편향 완화) 등 모델의 다양한 단계에 도입할 수 있다. 여기서도 이 3가지 고유 범주를 자세히 살펴본다. 참고로 이러한 범주가 정의된 것은 IBM의 초기 작업 덕분이다.
처리 전 편향 완화 : 처리 전 완화는 학습 데이터에 집중한다. 학습 데이터는 AI 개발 첫 단계를 뒷받침하며 근원적인 편향이 도입될 가능성이 높다. 예를 들어 특정 성별이 채용되거나 대출을 받는 가능성이 높거나 낮아지는 등의 모델 수행 상태를 분석할 때 차별 효과가 발생할 수 있다. 이를 해로운 편향(예: 한 여성이 대출 상환 능력이 있어도 성별을 주된 이유로 대출 신청이 거절되는 경우) 또는 공정성(예: 성별 균형이 맞게 채용하고 싶다)의 측면에서 검토해야 한다.
또한, 학습 데이터 단계에는 사람이 많이 개입하는데 사람에게는 내재적인 편향이 있다. 기술 구축과 구현을 담당하는 팀에 다양성이 부족할수록 부정적인 결과의 가능성이 커진다. 예를 들어, 특정 집단이 데이터 집합에서 의도치 않게 배제되면, 데이터가 모델 학습에 사용되는 방식 때문에 자동으로 시스템에 의해 한 데이터 집합 또는 개인 집단이 상당히 불리한 위치에 처하게 된다.
처리 중 편향 완화 : 처리 중 기법을 활용하면 모델 작업을 하면서 분류자 내 편향을 완화할 수 있다. 머신 러닝에서 분류자는 자동으로 데이터를 하나 이상의 집합으로 분류하거나 정돈하는 알고리즘이다. 이 과정의 목표는 정확성을 넘어 시스템의 공정성과 정확성을 둘 다 보장하는 것이다.
적대적 편향 제거는 이 단계에서 정확성을 극대화하는 동시에 예측 내용에 있는 차별 금지 사유의 증거를 줄이기 위해 사용할 수 있는 기법이다. 기본적으로 목표는 부정적인 편향이 프로세스에 영향을 미치는 방식에 대한 일종의 역반응으로 '시스템을 거슬러서' 시스템이 하기 싫어할 수도 있는 일을 하도록 하는 것이다.
예를 들어, 금융기관이 대출 승인에 앞서 고객의 ‘상환 능력’을 측정하고자 할 때, 해당 기관의 AI 시스템은 인종과 성별 또는 대용 변수(예: 인종과 상관관계가 있을 수 있는 우편번호)와 같은 민감하거나 차별해서는 안 되는 변수를 바탕으로 누군가의 상환 능력을 예측할 수 있다. 이러한 처리 중 편향은 부정확하고 부당한 결과로 이어진다.
처리 중 (편향 완화) 기법은 AI 학습 중에 약간의 수정을 적용하기 때문에 모델이 정확한 결과를 생산해 내도록 하는 동시에 편향을 완화할 수 있다.
처리 후 편향 완화 : 처리 후 편향 완화는 개발자가 모델 학습을 마쳤지만 이제는 결과를 일정하게 하려 할 때 유용하다. 이 단계에서의 목표는 예측 내용의 편향을 완화하는 것이므로 분류자나 학습 데이터 대신 모델의 결과만 조정한다.
그러나, 출력물을 조정하다 보면 정확성이 바뀔 수 있다. 예를 들어, 만일 이 프로세스에서 관련 보유 기술이 아닌 남녀 비율이 같은 결과를 선호한다면 자격을 갖춘 특정 성별을 더 적게 채용되는 결과를 낳을 수 있다. 이는 모델의 정확성에 영향을 미치는 것이지만, 원했던 목표를 달성할 수 있다.
운영 개시 및 감시
특정 모델이 학습을 거쳐서 사전에 규정된 편향 또는 공정성 임곗값을 개발자가 만족할 정도로 충족하고 나면, 모델이 학습된 방식, 모델의 작동 방식, 의도한 용례와 의도하지 않은 용례, 팀이 수행한 편향 평가, 사회적 또는 윤리적 위험 등을 문서화해야 한다.이 정도 수준의 투명성은 사용자가 AI를 신뢰하는 데 도움이 될 뿐만 아니라 규제가 시행되는 업계에서 운영하려면 필수적일 수도 있다. 다행히 도움이 될 만한 오픈소스 툴도 많이 나와 있다. 예를 들면 구글의 모델 카트 툴킷(Model Card Toolkit), IBM의 AI 팩트시트(FactSheets) 360, 오픈 에틱스 라벨(Open Ethics Label) 등이다.
AI 시스템 운영을 개시한 후에 방치해서는 절대 안 되고 모델 이탈이 없는지 지속해서 감시해야 한다. 이탈은 모델의 정확성과 수행 능력은 물론 공정성에도 영향을 미칠 수 있기 때문이다. 모델을 정기적으로 테스트하고 이탈이 너무 커지면 다시 학습할 준비를 해야 한다.
올바른 AI 만들기
AI를 ‘올바르게’ 만드는 일은 어렵지만 그 어느 때보다 더 중요하다. 실제로 최근 미국 연방거래위원회는 편향된 AI의 판매나 사용을 금지하는 규제 시행 가능성을 시사했고, 유럽 연합은 AI 규제를 위한 법적 제도를 준비 중이다. 책임 있는 AI는 사회에게 좋을 뿐만 아니라 더 나은 비즈니스 결과를 창출하고 법적 위험과 사회적 평판에 대한 위험을 줄인다.중대한 경제적, 사회적, 정치적 과제를 해결하기 위해 새로운 애플리케이션이 만들어지면서 AI의 활용은 전 세계적으로 더 늘어날 것이다. 책임 있는 AI의 제작과 배치에 만능으로 적용할 수 있는 방식은 없지만 여기서 논의한 전략과 기법은 알고리즘 생애주기의 다양한 단계에 걸쳐 편향 완화를 통해 윤리적 기술에 더 가깝게 다가가는 데 도움이 될 것이다.
결국 기술이 선의로 만들어지도록 하고 의도치 않은 피해를 파악하기 위한 시스템이 갖추는 것은 모두의 책임이다. editor@itworld.co.kr
함께 보면 좋은 콘텐츠
Sponsored
Surfshark
“유료 VPN, 분명한 가치 있다” VPN 선택 가이드
ⓒ Surfshark VPN(가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다. 동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다. 무료 VPN, 정말 괜찮을까? 무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다. 보안 우려 대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다. 속도와 대역폭 제한 무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다. 서비스 제한 무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다. 광고 및 추적 위험 일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다. 제한된 기능 무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다. 유료 VPN의 필요성 최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다. 서프샤크 VPN은 구독 요금제 가입 후 7일간의 무료 체험을 제공하고 있다. ⓒ Surfshark 그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다. 보안 강화 해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다. 개인정보 보호 인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다. 지역 제한 해제 해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다. 빠르고 안전한 유료 VPN, 서프샤크 VPN ⓒ Surfshark 뛰어난 보안 서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다. 다양한 서버 위치 서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다. 속도와 대역폭 서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다. 다양한 플랫폼 지원 서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다. 디바이스 무제한 연결 서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.