2021.02.26

AI 모델의 3가지 편향성과 대처 방법 

Anupam Datta | InfoWorld
자동 의사 결정 툴이 갈수록 확산되고 있다. 그러나 얼굴 인식 시스템부터 온라인 광고에 이르기까지, 이러한 툴의 뒤에 존재하는 머신러닝 모델의 상당수는 인종과 성별에 대한 뚜렷한 편향성을 보인다. ML 모델이 갈수록 폭넓게 채택되고 있는 만큼 인공지능(AI)의 공정성을 높이기 위한 각별한 관심과 전문적인 역량이 필요하다. 
 
ⓒ Getty Images Bank

ML 모델은 차별을 악화시켜서는 안 되며 편향성을 찾아 제거해야 한다. 그러나 공정한 AI 모델을 구축하기 위해서는 먼저 AI 편향성의 근본 원인을 더 효과적으로 식별할 수 있는 방법을 확보해야 한다. 편향된 AI 모델이 입력과 출력 간의 편향된 관계를 어떻게 학습하는지를 이해해야 한다. 

연구자들이 파악한 AI 편향성의 3가지 범주는 알고리즘 편견, 부정적 유산, 과소평가다. 알고리즘 편견은 보호되는 특징과 의사 결정에 사용되는 다른 정보 사이에 통계적 종속성이 존재하는 경우 발생한다. 부정적 유산은 AI 모델을 학습시키는 데 사용되는 데이터에 이미 존재하는 편향성을 나타낸다. 과소평가는 인구의 특정 구간에 대한 데이터가 충분하지 않아 모델이 확실한 결론을 내리지 못하는 경우다. 

각 범주를 더 세부적으로 살펴보자. 

알고리즘 편견 
알고리즘 편견은 보호되는 특징과 다른 인자 간의 상관관계에서 비롯된다. 이 경우 보호되는 특성을 단순히 분석에서 배제하는 방법으로는 편향성을 줄일 수 없다. 이 상관관계가 보호되지 않는 인자를 근거로 해서 편향된 의사 결정으로 이어질 수 있기 때문이다. 

예를 들어 초창기 예측 치안 알고리즘은 예측을 수행할 때는 인종 데이터에 접근할 수 없었지만, 모델은 지리적 데이터(예를 들어 우편번호)에 크게 의존했고 지리적 데이터는 인종과 연관된다. 결국 성별, 인종과 같은 인구통계학적 데이터를 “볼 수 없는” 모델이라 해도 보호되는 특성과 통계적으로 연관된 다른 특징을 통해 여전히 이 정보를 코드화할 수 있다. 

대출 기관이 공정 대출법을 준수하는지 여부를 감시하는 미국 소비자 금융 보호국은 지리적 정보와 이름의 성 정보를 결합해 신뢰성 높은 인종 및 민족성 대리 확률(proxy probability)을 얻는 통계적인 방법을 발견했다. 알고리즘에 보호되는 클래스에 대한 접근 권한을 부여하지 않으면, 편향성이 자동으로 낮아진다는 기존의 오해를 뒤집는 발견이다. 대리 차별(proxy discrimination)로 불리는 이 현상은 근본적인 원인을 찾으면 완화할 수 있다. 즉, 대리 특징을 생성하는 모델 내의 중간 계산을 찾아 보호되는 특성과의 상관관계가 약한 값으로 대체하는 방법으로 교정할 수 있다. 

직관에는 반하지만, 모델 학습에서 보호되는 특징을 제거하는 순진한 해결책은 특정 사례에서 이미 불이익을 받고 있는 그룹에 오히려 피해를 줄 수 있다. 예를 들어 미국 사법 체계에서 교정 기관과 가석방 심의 위원회는 수감과 석방에 관한 공정한 의사 결정을 내리기 위해 위험 인자 체크리스트를 사용한다. 사람과 AI 모델이 모두 성별, 나이, 죄명, 성년 및 미성년 전과 횟수와 같은 정보를 가진 경우 내리는 결론도 비슷하다.  

그러나 사람과 모델에 교육 및 약물 사용에 관련된 10가지의 추가 위험 인자를 제공한 결과, 연구원들은 머신러닝 모델이 더 정확하고 편향성도 덜 갖는다는 사실을 발견했다. 이는 무턱대고 아무 교정 방법이나 도입해서는 안 되고 AI 모델의 편향성의 근본 원인을 파악해야 함을 의미한다. 

부정적 유산 
학습 데이터에 존재하는 유사한 편향성에서 직접적으로 알고리즘 편향성이 발생할 수도 있다. 예를 들어 언어 번역 작업을 수행하도록 학습되는 ML 모델은 여성 이름을 ‘부모’, ‘결혼’과 같은 속성에 연결하는 경향이 있는 반면, 남성 이름은 ‘전문직’, ‘급여’와 같은 단어와 연결하는 경향이 강하다. 모델 스스로 이와 같은 연결 성향을 갖게 될 가능성은 낮다. 그보다는 이러한 성별 수사를 반영하는 말뭉치를 통해 학습되었을 가능성이 높다. 이것이 부정적 유산의 예다. 

자연어 처리에서 성별 편향성은 까다롭긴 해도 많은 연구가 이뤄진 문제다. 원인을 명확하게 파악하면 교정이 가능하다. 연구자들은 명사와 형용사에 대체로 남녀 구분이 없는 영어와 같은 언어에서 워드 임베딩(word embeddings)을 강제해서 성별 중립을 유지하는 방법을 발견했다. 본질적으로 성별을 구분하는 언어의 경우 성별 구분 단어와 성별 중립적 단어 간의 원인 연관성을 해체하는 새로운 예제를 수용하는 방법으로 언어 말뭉치를 보강해서 편향성을 차단할 수 있다. 

언어 외의 응용 분야에서 부정적 유산은 완화하기가 가장 어려운 편향성 유형이 될 수 있다. 머신러닝 모델이 학습하는 데이터세트에 본질적으로 편향성이 내제되기 때문이다. 이 경우 특정 인구에 대한 장기간의 제도적 편향성이 모델에 뚜렷하게 반영될 수 있다. 예를 들어 거주 지역을 근거로 일률적으로 대출을 거부하는 레드라이닝(redlining)으로 인해 대출 승인 데이터세트가 백인 쪽으로 편향될 수 있다. 데이터의 이 편향성은 AI 모델의 편향된 행동으로 이어진다. 

기존 편향성 완화 방법 중에서는 흑인 신청자의 신용 허용률을 높이는 방법도 있지만, 이 경우 모델 편향성의 진정한 원인이 가려져 문제를 해결하기가 어렵게 될 수도 있다. 신용 평가의 입력으로 흔히 사용되는 FICO 점수에도 전부터 인종 차별 경향이 드러났다. 이 경우 사후적 편향성 완화 방법은 신용도에 대한 원인 연관성을 가진 대체 데이터 소스를 찾는 방법보다 효과가 떨어질 수 있다. 부정적 유산은 대체 데이터를 찾는 방법으로 완화할 수 있다. 

과소평가 
데이터가 편향되는 경우도 있지만 부족한 경우도 있다. 머신러닝 모델은 충분한 데이터가 없으면 신뢰할 수 있는 예측을 제공하지 못한다. 이것이 과소평가 문제다. 아마존은 최근 채용 프로세스에서 지원자를 심사하기 위한 머신러닝 모델을 학습시켰지만, 다른 많은 IT 기업과 마찬가지로 아마존 역시 인력이 남성에 편중돼 있다. 이 데이터 불균형으로 인해 AI 모델은 남성 지원자를 평가할 때 더 확신을 갖게 되었고, 결과적으로 남성 지원자를 더 적극적으로 추천했다. 이 모델의 추천에서 편향성을 인지한 아마존은 채용 과정에서 해당 모델을 뺐다. 

아마존이 더 나은 데이터를 찾았다면 편향성 없는 채용 툴을 구축할 수도 있었을 것이다. 그러나 편향성이 발생하는 이유에 대한 제대로 된 이해가 없으면 해결은 불가능하다. 과소평가의 경우 여러 인구 하위 그룹에 걸쳐 모델의 예측 확실성을 분석하고, 기반 데이터세트를 새로운 인스턴스로 자동으로 보강하여 다양화할 수 있다. 

인구통계에 관한 모델 확실성과 안정성 척도는 모델이 모든 사람 그룹에 대해 신뢰할 수 있는 예측을 수행할 준비가 되었는지 여부를 파악하는 데 있어 매우 중요하다. 과소평가의 경우 제공되는 데이터세트가 데이터의 미세한 의미를 포착할 만큼 충분하지 않은 것이다. 그러나 공정성을 높이기 위한 적대적 학습 기법 또는 사후적 편향성 완화 방법은 데이터세트를 더 포괄적으로 보강하는 방법에 비해 성공 가능성이 낮다. 

알고리즘이 편향성을 코드화, 영구화할 수 있다는 것은 주지의 사실이며, 이는 심각한 결과로 이어질 수 있다. 그러나 중요한 것은 알고리즘 편향성은 인간의 편향성과 달리 적절히 대처하면 최종적으로 수치화해서 교정할 수 있다는 점이다. 안전하고 신뢰할 수 있는 AI를 구축하기 위해서는 AI 편향성을 낮추기 위한 막무가내식 접근이 아니라 편향성 뒤의 진정한 원인에 대한 명확한 이해가 필수적이다. 

이러한 원인은 복잡하지만 연구자들은 특정 그룹에 대한 이질적 결과를 측정하고 차이를 유발하는 특징을 식별하고 편향성 원인별로 적절한 완화 방법을 선택하는 방법을 지속적으로 개발하고 있다. 자동화되는 의사 결정이 많아질수록 공정하고 공평한 모델을 만들기 위해서는 근본적인 편향성에 대처해야 한다. editor@itworld.co.kr


2021.02.26

AI 모델의 3가지 편향성과 대처 방법 

Anupam Datta | InfoWorld
자동 의사 결정 툴이 갈수록 확산되고 있다. 그러나 얼굴 인식 시스템부터 온라인 광고에 이르기까지, 이러한 툴의 뒤에 존재하는 머신러닝 모델의 상당수는 인종과 성별에 대한 뚜렷한 편향성을 보인다. ML 모델이 갈수록 폭넓게 채택되고 있는 만큼 인공지능(AI)의 공정성을 높이기 위한 각별한 관심과 전문적인 역량이 필요하다. 
 
ⓒ Getty Images Bank

ML 모델은 차별을 악화시켜서는 안 되며 편향성을 찾아 제거해야 한다. 그러나 공정한 AI 모델을 구축하기 위해서는 먼저 AI 편향성의 근본 원인을 더 효과적으로 식별할 수 있는 방법을 확보해야 한다. 편향된 AI 모델이 입력과 출력 간의 편향된 관계를 어떻게 학습하는지를 이해해야 한다. 

연구자들이 파악한 AI 편향성의 3가지 범주는 알고리즘 편견, 부정적 유산, 과소평가다. 알고리즘 편견은 보호되는 특징과 의사 결정에 사용되는 다른 정보 사이에 통계적 종속성이 존재하는 경우 발생한다. 부정적 유산은 AI 모델을 학습시키는 데 사용되는 데이터에 이미 존재하는 편향성을 나타낸다. 과소평가는 인구의 특정 구간에 대한 데이터가 충분하지 않아 모델이 확실한 결론을 내리지 못하는 경우다. 

각 범주를 더 세부적으로 살펴보자. 

알고리즘 편견 
알고리즘 편견은 보호되는 특징과 다른 인자 간의 상관관계에서 비롯된다. 이 경우 보호되는 특성을 단순히 분석에서 배제하는 방법으로는 편향성을 줄일 수 없다. 이 상관관계가 보호되지 않는 인자를 근거로 해서 편향된 의사 결정으로 이어질 수 있기 때문이다. 

예를 들어 초창기 예측 치안 알고리즘은 예측을 수행할 때는 인종 데이터에 접근할 수 없었지만, 모델은 지리적 데이터(예를 들어 우편번호)에 크게 의존했고 지리적 데이터는 인종과 연관된다. 결국 성별, 인종과 같은 인구통계학적 데이터를 “볼 수 없는” 모델이라 해도 보호되는 특성과 통계적으로 연관된 다른 특징을 통해 여전히 이 정보를 코드화할 수 있다. 

대출 기관이 공정 대출법을 준수하는지 여부를 감시하는 미국 소비자 금융 보호국은 지리적 정보와 이름의 성 정보를 결합해 신뢰성 높은 인종 및 민족성 대리 확률(proxy probability)을 얻는 통계적인 방법을 발견했다. 알고리즘에 보호되는 클래스에 대한 접근 권한을 부여하지 않으면, 편향성이 자동으로 낮아진다는 기존의 오해를 뒤집는 발견이다. 대리 차별(proxy discrimination)로 불리는 이 현상은 근본적인 원인을 찾으면 완화할 수 있다. 즉, 대리 특징을 생성하는 모델 내의 중간 계산을 찾아 보호되는 특성과의 상관관계가 약한 값으로 대체하는 방법으로 교정할 수 있다. 

직관에는 반하지만, 모델 학습에서 보호되는 특징을 제거하는 순진한 해결책은 특정 사례에서 이미 불이익을 받고 있는 그룹에 오히려 피해를 줄 수 있다. 예를 들어 미국 사법 체계에서 교정 기관과 가석방 심의 위원회는 수감과 석방에 관한 공정한 의사 결정을 내리기 위해 위험 인자 체크리스트를 사용한다. 사람과 AI 모델이 모두 성별, 나이, 죄명, 성년 및 미성년 전과 횟수와 같은 정보를 가진 경우 내리는 결론도 비슷하다.  

그러나 사람과 모델에 교육 및 약물 사용에 관련된 10가지의 추가 위험 인자를 제공한 결과, 연구원들은 머신러닝 모델이 더 정확하고 편향성도 덜 갖는다는 사실을 발견했다. 이는 무턱대고 아무 교정 방법이나 도입해서는 안 되고 AI 모델의 편향성의 근본 원인을 파악해야 함을 의미한다. 

부정적 유산 
학습 데이터에 존재하는 유사한 편향성에서 직접적으로 알고리즘 편향성이 발생할 수도 있다. 예를 들어 언어 번역 작업을 수행하도록 학습되는 ML 모델은 여성 이름을 ‘부모’, ‘결혼’과 같은 속성에 연결하는 경향이 있는 반면, 남성 이름은 ‘전문직’, ‘급여’와 같은 단어와 연결하는 경향이 강하다. 모델 스스로 이와 같은 연결 성향을 갖게 될 가능성은 낮다. 그보다는 이러한 성별 수사를 반영하는 말뭉치를 통해 학습되었을 가능성이 높다. 이것이 부정적 유산의 예다. 

자연어 처리에서 성별 편향성은 까다롭긴 해도 많은 연구가 이뤄진 문제다. 원인을 명확하게 파악하면 교정이 가능하다. 연구자들은 명사와 형용사에 대체로 남녀 구분이 없는 영어와 같은 언어에서 워드 임베딩(word embeddings)을 강제해서 성별 중립을 유지하는 방법을 발견했다. 본질적으로 성별을 구분하는 언어의 경우 성별 구분 단어와 성별 중립적 단어 간의 원인 연관성을 해체하는 새로운 예제를 수용하는 방법으로 언어 말뭉치를 보강해서 편향성을 차단할 수 있다. 

언어 외의 응용 분야에서 부정적 유산은 완화하기가 가장 어려운 편향성 유형이 될 수 있다. 머신러닝 모델이 학습하는 데이터세트에 본질적으로 편향성이 내제되기 때문이다. 이 경우 특정 인구에 대한 장기간의 제도적 편향성이 모델에 뚜렷하게 반영될 수 있다. 예를 들어 거주 지역을 근거로 일률적으로 대출을 거부하는 레드라이닝(redlining)으로 인해 대출 승인 데이터세트가 백인 쪽으로 편향될 수 있다. 데이터의 이 편향성은 AI 모델의 편향된 행동으로 이어진다. 

기존 편향성 완화 방법 중에서는 흑인 신청자의 신용 허용률을 높이는 방법도 있지만, 이 경우 모델 편향성의 진정한 원인이 가려져 문제를 해결하기가 어렵게 될 수도 있다. 신용 평가의 입력으로 흔히 사용되는 FICO 점수에도 전부터 인종 차별 경향이 드러났다. 이 경우 사후적 편향성 완화 방법은 신용도에 대한 원인 연관성을 가진 대체 데이터 소스를 찾는 방법보다 효과가 떨어질 수 있다. 부정적 유산은 대체 데이터를 찾는 방법으로 완화할 수 있다. 

과소평가 
데이터가 편향되는 경우도 있지만 부족한 경우도 있다. 머신러닝 모델은 충분한 데이터가 없으면 신뢰할 수 있는 예측을 제공하지 못한다. 이것이 과소평가 문제다. 아마존은 최근 채용 프로세스에서 지원자를 심사하기 위한 머신러닝 모델을 학습시켰지만, 다른 많은 IT 기업과 마찬가지로 아마존 역시 인력이 남성에 편중돼 있다. 이 데이터 불균형으로 인해 AI 모델은 남성 지원자를 평가할 때 더 확신을 갖게 되었고, 결과적으로 남성 지원자를 더 적극적으로 추천했다. 이 모델의 추천에서 편향성을 인지한 아마존은 채용 과정에서 해당 모델을 뺐다. 

아마존이 더 나은 데이터를 찾았다면 편향성 없는 채용 툴을 구축할 수도 있었을 것이다. 그러나 편향성이 발생하는 이유에 대한 제대로 된 이해가 없으면 해결은 불가능하다. 과소평가의 경우 여러 인구 하위 그룹에 걸쳐 모델의 예측 확실성을 분석하고, 기반 데이터세트를 새로운 인스턴스로 자동으로 보강하여 다양화할 수 있다. 

인구통계에 관한 모델 확실성과 안정성 척도는 모델이 모든 사람 그룹에 대해 신뢰할 수 있는 예측을 수행할 준비가 되었는지 여부를 파악하는 데 있어 매우 중요하다. 과소평가의 경우 제공되는 데이터세트가 데이터의 미세한 의미를 포착할 만큼 충분하지 않은 것이다. 그러나 공정성을 높이기 위한 적대적 학습 기법 또는 사후적 편향성 완화 방법은 데이터세트를 더 포괄적으로 보강하는 방법에 비해 성공 가능성이 낮다. 

알고리즘이 편향성을 코드화, 영구화할 수 있다는 것은 주지의 사실이며, 이는 심각한 결과로 이어질 수 있다. 그러나 중요한 것은 알고리즘 편향성은 인간의 편향성과 달리 적절히 대처하면 최종적으로 수치화해서 교정할 수 있다는 점이다. 안전하고 신뢰할 수 있는 AI를 구축하기 위해서는 AI 편향성을 낮추기 위한 막무가내식 접근이 아니라 편향성 뒤의 진정한 원인에 대한 명확한 이해가 필수적이다. 

이러한 원인은 복잡하지만 연구자들은 특정 그룹에 대한 이질적 결과를 측정하고 차이를 유발하는 특징을 식별하고 편향성 원인별로 적절한 완화 방법을 선택하는 방법을 지속적으로 개발하고 있다. 자동화되는 의사 결정이 많아질수록 공정하고 공평한 모델을 만들기 위해서는 근본적인 편향성에 대처해야 한다. editor@itworld.co.kr


X