2019.04.26

"AI로부터 숨겨 드립니다"··· 사물 인식 '은폐 패치' 개발

George Nott | Computerworld
루뱅 가톨릭대 연구팀이 인공지능(AI) 사물 인식기를 피하는 은폐 패치를 개발했다. 사각형 크기의 이 프린트된 종이를 들고 있으면 AI가 해당 사람을 인식하지 못한다.

나선신경망(CNN)이 빠르게 발전하면서 이미지와 비디오에서 사람을 더 효과적으로 인식할 수 있게 됐다. 사람 이미지 수천 장을 이용해 학습한 후 인식 작업을 처리한다. 그러나 이런 인식을 방해하는 것도 가능하다. 연구팀은 가로세로 40cm짜리 종이를 통해 자동 감시 카메라가 자신을 인식하지 못하는 장면은 시연했다. 사이먼 티스와 위브 반 랜스트, 툰 고딤 등 연구팀은 이 종이를 개발하면서 널리 사용되는 YOLOv2 사물 인식기를 대상으로 했다. 이 인식기를 속일 수 있는 다양한 방법을 사용했다.



이들은 보고서를 통해 "이 인식기가 사람의 모습으로 인식하는 가능성을 최소화하기 위해 인식 작업을 방해하는 이미지를 최적화하는 방식을 사용했다. 이를 통해 특정 종이를 든 사람을 인식하지 못하도록 인식기를 속일 수 있었다"라고 설명했다. 이렇게 최적화된 모양을 출력한 후 이를 들고 있는 사람을 촬영한 후 영상을 AI에 입력해 AI가 사람을 제대로 인식하는지 확인했다. 그 결과 이 종이를 정확히 잘 들고 있으면 AI 인식기를 잘 속일 수 있었다.

연구팀은 "이번 연구를 통해 사람 인식기의 정확성을 크게 떨어뜨리는 방법을 확인했다. 대부분의 경우에서 이 패치는 인식기로부터 성공적으로 사람을 숨겼다. 패치를 몸의 중간에 두지 않는 경우에는 AI 인식기가 사람을 인식했다"라고 설명했다. 이 기술은 감시 시스템을 악의적으로 우회하는 용도로도 사용될 수 있다. 침입자가 감시 카메라 방향으로 작은 카드보드 판을 들고 있으면 들키지 않고 접근할 수 있기 때문이다.



연구팀은 현재 이 패치를 옷에 부착하는 실험을 계획하고 있다. 이들은 "이 기술을 복잡한 의류 문양과 결합하면 자동 감시 카메라로부터 숨겨주는 티셔츠를 만들 수도 있다"라고 말했다. 이밖에 패치의 성능을 개선하고 페스터 R-CNN 같은 다른 감지 아키텍처에 맞춰 문양을 바꿀 수 있도록 하는 것도 추가로 연구할 계획이다.

이번 연구 외에도 비슷한 연구가 꾸준히 이어지고 있다. 예를 들어 지난 2016년 카네기 멜런대와 노스캐롤라이나대의 연구자들은 특정 문양이 인쇄된 안경테를 이용해 안면 인식 시스템을 무력화하는 실험에 성공했다. 당시 연구팀은 "이 안경은 쓰면 얼굴 인식 알고리즘이 인식되지 않도록 하거나 다른 사람으로 속일 수 있다"라고 설명했다. 실제로 얼굴 인식 기술을 이용한 변장은 이미 패션 업계에 도입됐다.

지난 2017년에는 워싱턴대와 미시건대, 스토니브룩대, 캘리포니아대 등이 현실 세계의 정지 표지판을 속이는 방법을 시연했다. 연구팀은 낙서를 흉내 낸 검은색과 흰색 스티커를 이용해 딥신경망 기반 인식기가 정지 표지판을 속도제한 표지판으로 인식하도록 하는데 100% 성공했다. ciokr@idg.co.kr


2019.04.26

"AI로부터 숨겨 드립니다"··· 사물 인식 '은폐 패치' 개발

George Nott | Computerworld
루뱅 가톨릭대 연구팀이 인공지능(AI) 사물 인식기를 피하는 은폐 패치를 개발했다. 사각형 크기의 이 프린트된 종이를 들고 있으면 AI가 해당 사람을 인식하지 못한다.

나선신경망(CNN)이 빠르게 발전하면서 이미지와 비디오에서 사람을 더 효과적으로 인식할 수 있게 됐다. 사람 이미지 수천 장을 이용해 학습한 후 인식 작업을 처리한다. 그러나 이런 인식을 방해하는 것도 가능하다. 연구팀은 가로세로 40cm짜리 종이를 통해 자동 감시 카메라가 자신을 인식하지 못하는 장면은 시연했다. 사이먼 티스와 위브 반 랜스트, 툰 고딤 등 연구팀은 이 종이를 개발하면서 널리 사용되는 YOLOv2 사물 인식기를 대상으로 했다. 이 인식기를 속일 수 있는 다양한 방법을 사용했다.



이들은 보고서를 통해 "이 인식기가 사람의 모습으로 인식하는 가능성을 최소화하기 위해 인식 작업을 방해하는 이미지를 최적화하는 방식을 사용했다. 이를 통해 특정 종이를 든 사람을 인식하지 못하도록 인식기를 속일 수 있었다"라고 설명했다. 이렇게 최적화된 모양을 출력한 후 이를 들고 있는 사람을 촬영한 후 영상을 AI에 입력해 AI가 사람을 제대로 인식하는지 확인했다. 그 결과 이 종이를 정확히 잘 들고 있으면 AI 인식기를 잘 속일 수 있었다.

연구팀은 "이번 연구를 통해 사람 인식기의 정확성을 크게 떨어뜨리는 방법을 확인했다. 대부분의 경우에서 이 패치는 인식기로부터 성공적으로 사람을 숨겼다. 패치를 몸의 중간에 두지 않는 경우에는 AI 인식기가 사람을 인식했다"라고 설명했다. 이 기술은 감시 시스템을 악의적으로 우회하는 용도로도 사용될 수 있다. 침입자가 감시 카메라 방향으로 작은 카드보드 판을 들고 있으면 들키지 않고 접근할 수 있기 때문이다.



연구팀은 현재 이 패치를 옷에 부착하는 실험을 계획하고 있다. 이들은 "이 기술을 복잡한 의류 문양과 결합하면 자동 감시 카메라로부터 숨겨주는 티셔츠를 만들 수도 있다"라고 말했다. 이밖에 패치의 성능을 개선하고 페스터 R-CNN 같은 다른 감지 아키텍처에 맞춰 문양을 바꿀 수 있도록 하는 것도 추가로 연구할 계획이다.

이번 연구 외에도 비슷한 연구가 꾸준히 이어지고 있다. 예를 들어 지난 2016년 카네기 멜런대와 노스캐롤라이나대의 연구자들은 특정 문양이 인쇄된 안경테를 이용해 안면 인식 시스템을 무력화하는 실험에 성공했다. 당시 연구팀은 "이 안경은 쓰면 얼굴 인식 알고리즘이 인식되지 않도록 하거나 다른 사람으로 속일 수 있다"라고 설명했다. 실제로 얼굴 인식 기술을 이용한 변장은 이미 패션 업계에 도입됐다.

지난 2017년에는 워싱턴대와 미시건대, 스토니브룩대, 캘리포니아대 등이 현실 세계의 정지 표지판을 속이는 방법을 시연했다. 연구팀은 낙서를 흉내 낸 검은색과 흰색 스티커를 이용해 딥신경망 기반 인식기가 정지 표지판을 속도제한 표지판으로 인식하도록 하는데 100% 성공했다. ciokr@idg.co.kr


X