AIㆍML / 보안 / 애플리케이션 / 웹서비스

빅 브라더를 위한 인공지능, 안면 인식의 의미와 스푸핑

Martin Heller | InfoWorld 2020.09.08
거리에 설치된 CCTV의 감시를 통해 빅 브라더(Big Brother)가 시민의 얼굴을 식별하고 행복한지, 슬픈지, 화가 났는지, 구분할 수 있을까? 이런 신원확인을 통해 지명수배자를 체포할 수 있을까? 식별이 정확하지 않아 실제로 다른 사람으로 오인할 확률은 얼마인가? 감시를 완전히 물리칠 수 있는 방법이 있을까?

반대로, 승인된 사람의 얼굴 사진을 들고 카메라와 안면 인식 소프트웨어로 보호되는 금고에 들어갈 수 있을까? 승인된 사람의 얼굴을 본 뜬 3D 마스크를 쓴다면 식별이 가능할까? 안면 인식(Facial Recognition), 그리고 안면 인식의 스푸핑(Spoofing, 도용)에 대해 알아보자. 


안면 인식은 어떻게 작동하는가?

안면 인식은 얼굴을 통해 모르는 사람을 식별하거나 특정인의 신원을 인증하는 방법이다. 

초기 안면 인식 알고리즘(현재도 개선되고 보다 자동화된 형태로 사용되고 있음)은 생체 인식(눈 사이의 거리 등)에 의존해 2차원 이미지에서 측정한 얼굴 특징을 얼굴을 설명하는 숫자 집합(특징 벡터 또는 템플릿)으로 변환한다. 그런 다음 인식 프로세스는 이런 벡터를 동일한 방식으로 형상에 매핑된 알려진 얼굴의 데이터베이스와 비교한다. 

이 과정에서 한 가지 복잡한 문제는 측정 기준을 추출하기 전에 머리 회전과 기울기를 고려해 얼굴을 표준화된 보기로 조정하는 것이다. 이런 종류의 알고리즘을 기하학(geometric)이라고 부른다.

안면 인식을 위한 또 다른 접근법은 2D 얼굴 이미지를 정상화하고 압축하는 것이며, 이것을 유사하게 정규화되고 압축된 이미지의 데이터베이스와 비교하는 것이다. 이런 종류의 알고리즘을 광도계(photometric)라고 한다.

3차원 안면 인식은 3D 센서를 이용해 얼굴 이미지를 포착하거나, 다른 각도를 보는 3개의 2D 추적 카메라에서 3D 이미지를 재구성한다. 3D 안면 인식은 2D 인식에 비해 상당히 정확할 수 있다.

피부결 분석(Skin texture analysis)은 사람의 얼굴에 있는 선, 패턴, 점을 다른 특징 벡터에 매핑한다. 2D나 3D 안면 인식에 피부결 분석을 추가하면 특히 닮은꼴과 쌍둥이의 경우, 인식 정확도를 20~25% 향상시킬 수 있다. 또한 모든 방법을 조합할 수 있으며, 가시광선 및 적외선 등 다중 스펙트럼 이미지(multi-spectral images)을 추가하면 훨씬 더 정확해진다.
 
안면 인식 기술은 1964년 이 분야가 시작된 이후 해가 갈수록 개선되고 있는데, 평균적으로 오차율은 2년마다 절반씩 줄어들었다.


안면 인식 공급업체 테스트

미국 국립표준기술연구소(NIST)는 2000년부터 안면 인식 알고리즘인 FRVT(Face Recognition Vendor Test)의 테스트를 실시해 왔다. 사용되는 이미지 데이터셋은 대부분 법 집행기관의 범인 식별용 얼굴 사진(mug shots)이지만 위키미디어에서 찾아볼 수 있는 무보정 스틸 이미지와 웹캠에서 볼 수 있는 저해상도 이미지를 포함하고 있다.

FRVT 알고리즘은 대부분 상업적 공급업체가 제출한다. 매년 비교해 본 결과, 성능과 정확성이 크게 향상됐다. 공급업체에 따르면, 이는 주로 심층 콘볼루션 신경망(deep convolutional neural networks)을 사용하기 때문이라고 한다.

관련 NIST 얼굴 인식 테스트 프로그램은 인구통계학적 효과, 얼굴 모핑 탐지, 소셜 미디어에 게시된 얼굴 식별 및 비디오에서의 얼굴 식별을 연구했다. 이전 일련의 테스트는 1990년대에 이름이 다른 FERET(Face Recognition Technology)에 의해 수행됐다.
 
ⓒ NIST


안면 인식 애플리케이션

안면 인식 애플리케이션은 대부분 보안, 건강, 마케팅/소매의 3가지 주요 범주로 분류된다. 보안은 법 집행 부문을 포함하는데, 해당 등급의 안면 인식은 사람이 하는 것보다 빠르고 정확하게 사람을 여권 사진에 대조하는 것처럼 선의의 목적일 수 있으며, CCTV를 통해 사람을 추적하고 수집된 사진 데이터베이스와 비교하는 ‘요주의 인물’ 시나리오처럼 소름끼칠 수 있다. 법 집행이 아닌 보안에는 스마트폰의 안면 잠금 해제, 실험실 및 금고의 접근 제어와 같이 흔한 애플리케이션이 포함된다.

안면 인식의 건강 애플리케이션에는 환자 체크인, 실시간 감정 탐지, 시설 내 환자 추적, 비언어 환자의 통증 수준 평가, 특정 질병 및 상태 탐지, 직원 식별, 시설 보안 등이 포함된다. 안면 인식의 마케팅 및 소매 애플리케이션에는 로열티 프로그램 회원의 식별, 알려진 좀도둑의 식별 및 추적, 목표 대상인 제품 제안에 대한 사람 및 감정 인식 등이 포함된다.


안면 인식 논란, 편견 및 금지 

이런 애플리케이션 가운데 일부가 논란의 여지가 있다고 말한다면, 절제된 표현일 것이다. 2019년 뉴욕타임스 기사에 따르면, 경기장 감시에 사용되는 안면 인식부터 인종차별적 소프트웨어(Racist software)에 이르기까지 많은 논란이 일었다.

경기장 감시? 안면 인식은 2001년 수퍼볼(Super Bowl)에서 사용되었는데, 체포된 사람은 없지만(시도가 없던 것은 아님), 이 소프트웨어는 지명수배 대상으로 생각되는 19명을 식별했다.

인종차별적 소프트웨어? 백인은 추적할 수 있지만 흑인은 추적할 수 없는 2009년 얼굴 추적 소프트웨어부터 시작해 당시의 얼굴 인식 소프트웨어가 여성 또는 흑인 얼굴보다 백인 남성 얼굴에서 훨씬 더 잘 작동한다는 것을 보여주었던 2015년 MIT 연구에 이르기까지 논란이 있었다. 

이런 종류의 문제는 특정 장소나 용도에 대한 안면 인식 소프트웨어의 전면적인 금지로 이어졌다. 2019년 샌프란시스코는 미국의 주요 도시 가운데 처음으로 경찰과 다른 법 집행기관들의 얼굴 인식 소프트웨어 사용을 금지했다. 

마이크로소프트는 안면 인식에 대한 연방 정부의 규제를 요구했고, MIT는 아마존 레코그니션(Amazon Rekognition)이 얼굴 이미지에서 남성 성별보다 여성 성별을 결정하는데 더 많은 어려움을 겪었을 뿐 아니라 백인 여성 성별보다 흑인 여성의 경우 문제가 더 많았다는 것을 보여주었다.
 
2020년 6월, 마이크로소프트는 안면 인식 소프트웨어를 경찰에 판매하지 않았으며 앞으로도 판매하지 않겠다고 발표했다. 아마존은 1년 동안 경찰의 아마존 레코그니션 사용을 금지했으며 IBM은 안면 인식 기술을 포기했다. 그러나 아이폰(페이스 ID)과 다른 기기, 소프트웨어, 기술 등에서 광범위하게 채택되고 있다는 점을 감안할 때 안면 인식을 전면 금지하는 것은 쉽지 않다.

모든 안면 인식 소프트웨어가 동일한 편견을 가지고 있는 것은 아니다. 2019 NIST 인구통계학적 효과 연구는 MIT 연구를 추적해 알고리즘 인구학적 편향은 안면 인식 소프트웨어의 개발자들 사이에 매우 다양하다는 것을 보여주었다. 

안면식별 알고리즘(facial identification algorithms)의 거짓 일치율과 거짓 불일치율에 대한 인구통계학적 영향이 있지만, 이런 영향은 공급업체마다 비교해보면 차이가 날 수 있으며 시간이 지날수록 감소하고 있다.


안면 인식 해킹과 안티스푸핑(anti-spoofing) 방법 

안면 인식으로 인한 잠재적 프라이버시 위협과 얼굴 인증으로 보호되는 고부가가치 자원에 접근하는 매력 등을 고려할 때 기술을 해킹하거나 스푸핑하려는 노력이 많았다. 실물 대신 인쇄된 얼굴 이미지나 화면상의 이미지 또는 3D로 프린팅한 마스크 등을 제시해 인증을 통과할 수 있다. CCTV 감시를 위해 동영상을 재생할 수 있다. 감시를 피하기 위해 ‘CV 데즐(Dazzle)’ 직물과 메이크업 또는 IR 광 방출기를 사용해 소프트웨어를 무력화해서 얼굴을 탐지하지 못하게 할 수 있다.

물론, 이런 모든 공격에 대응해 안티스푸핑 기법을 개발하려는 노력이 있다. 공급업체는 인쇄된 이미지를 탐지하기 위해 피사체가 깜빡일 때까지 기다리거나 모션 분석(motion analysis)을 실시하는 등 실물 테스트를 하거나 적외선을 사용해 실제 얼굴과 인쇄된 이미지를 구분한다. 

또 다른 접근방법은 사람의 피부는 인쇄물이나 마스크 소재와 광학적으로 다르기 때문에 미세 질감 분석을 수행하는 것이다. 최근의 스푸핑 방지 기법은 대부분 심층 콘볼루션 신경망을 기반으로 한다. 

이 분야는 한창 진화 중이다. 다른 공격과 방어 기술의 효과에 대한 학문적 연구뿐만 아니라 공격자와 안티스푸핑 소프트웨어 사이에 무기 전쟁이 벌어지고 있다.


안면 인식 공급업체

EFF(Electronic Frontier Foundation)에 따르면, 이데미아(Idemia, 이전 OT-Morpho 또는 사프란(Safran))의 자회사인 모포트러스트(MorphoTrust)는 미국에서 안면 인식 및 기타 생체 인식 식별 기술의 최대 공급업체 가운데 하나다. 주 DMV, 연방 및 주 법 집행기관, 국경 통제 및 공항(TSA 프리체크 포함), 국무부를 위해 해당 시스템을 설계했다. 다른 일반적인 공급업체로는 3M, 코그니텍(Cognitec), 데이터웍스 플러스(DataWorks Plus), 다이내믹 이미징 시스템(Dynamic Imaging Systems), 페이스퍼스트(FaceFirst), NEC 글로벌 등이 있다.

NIST 안면 인식 공급업체 테스트에는 전 세계 여러 공급업체의 알고리즘이 나열되어 있다. 다양한 품질의 오픈소스 안면 인식 알고리즘과 안면 인식을 제공하는 소수의 대형 클라우드 서비스도 있다.

아마존 레코그니션은 얼굴 분석, 맞춤형 라벨 등 사물, 사람, 문자, 장면, 활동 등을 식별할 수 있는 이미지/비디오 분석 서비스다. 구글 클라우드 비전 API(Google Cloud Vision API)는 사전학습 된 이미지 분석 서비스로, 물체와 얼굴을 탐지하고, 인쇄되고 필기한 텍스트를 읽고, 이미지 카탈로그에 메타데이터를 구축할 수 있다. 구글 오토ML 비전(Google AutoML Vision)은 사용자 지정 이미지 모델을 훈련할 수 있게 해준다.

에저 페이스 API(Azure Face API)는 이미지의 얼굴과 속성을 인식하는 얼굴 탐지를 하고, 최대 100만 명의 사적 저장소에 있는 개인과 매치시키는 사람 식별을 수행하며, 인지된 감정 인식을 수행한다. 페이스 API는 클라우드나 컨테이너 에지 단에서 실행될 수 있다.


인식 훈련용 얼굴 데이터셋 

다운로드가 가능한 수십 개의 얼굴 데이터셋이 인식 훈련에 사용할 수 있다. 모든 얼굴 데이터셋이 동일하지는 않다. 이미지 크기, 표현 인원 수, 사람당 이미지 수, 이미지 조건 및 조명에 따라 달라지는 경향이 있다. 미국 법 집행 기관은 현재의 머그샷과 자동차 운전면허 이미지와 같은 비공개된 얼굴 데이터셋에도 접근할 수 있다.

이 보다 더 큰 안면 데이터베이스 중에는 약 1만 3,000명에 달하는 개별 인물들이 들어있는 LFW(Labeled Faces in the Wild), 초기 NIST 테스트에 사용된 FERET, 진행 중인 NIST FRVT에 사용된 머그샷 데이터베이스, 안면 랜드마크(facial landmarks)와 함께 사용할 수 있는 SCFace 감시 카메라 데이터베이스, 1만 5,000명의 라벨드 위키피디아 페이스(Labeled Wikipedia Faces) 등이 있다. 이런 데이터베이스 가운데 일부는 신원당 여러 개의 이미지를 포함하고 있다. 연구원 이단 마이어스가 작성한 이 목록은 특정한 목적을 위해 얼굴 데이터셋을 고르는 것에 대한 몇 가지 설득력 있는 조언을 제공한다.

요약하면 안면 인식은 향상되고 있으며, 공급업체는 대부분의 스푸핑을 탐지하기 위해 학습하고 있지만, 이 기술의 일부 애플리케이션은 논란이 되고 있다. NIST에 따르면, 안면 인식 오류율은 2년마다 절반씩 감소하고 있다. 공급업체들은 콘볼루션 신경망을 통합해 안티스푸핑 기술을 향상시켰다.

한편, 감시, 특히 경찰에 의한 안면 인식 사용을 금지하는 움직임도 있다. 그러나 안면 인식을 완전히 금지하는 것은 이것이 얼마나 널리 퍼졌는지를 고려할 때 어려울 것이다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.