'적대적 머신러닝 대응 전략의 시작' 방어가 시작됐다

적대적 공격 대응(anti-adversarial)에 대한 연구는 지금까지 주로 AI의 머신러닝(Machine Learning) 알고리즘이 이미지를 잘못 인식하거나 잘못 분류하도록 하는, 미세하고 탐지하기가 어려운 이미지 변조(일반적으로 연구원 사이에서는 '잡음 교란(noise perturbation)'으로 지칭됨) 가능성에 초점을 맞췄다. 
 

적대적 변조(Adversarial tampering)는 픽셀 단위까지 극히 미세하게 이뤄지므로 탐지하기가 어려울 수 있다. 공격자가 AI 기반 분류 도구를 기만하기 위한 목적으로 이미지나 비디오, 음성 또는 다른 데이터를 거의 보이지 않게 변조할 수 있다면 AI 기술이 아무리 정교하다 해도 신뢰하기가 어렵게 된다.

배포된 AI 앱에 대한 위협 증가

이는 사소한 위협이 아니다. 잘못된 알고리즘 추론을 유도하면 AI 기반 앱은 부정확한 결정을 내리게 된다. 예를 들어 자율주행 중인 차량이 신호등을 잘못 판독하고 잘못된 방향으로 회전하거나, 최악의 경우 건물, 차량 또는 보행자와 충돌할 수 있다. 연구 문헌에 따르면, 통제된 실험실 환경에서 시뮬레이션으로 수행된 적대적 머신러닝 공격에 초점을 두지만, 이런 공격 벡터의 가용성이 보편적으로 알려지면 테러리스트와 범죄자 또는 악의적 집단이 이용하게 될 것이 분명하다.

올해 미국 대통령 선거 캠페인에 이용된 머신러닝에는 적대적 공격이 영향을 미치지 못한 것으로 보이지만, 향후 선거에서 이런 공격의 가능성을 배제할 수 없다. 팬데믹으로 얼룩진 2020년 내내 머신러닝 플랫폼에 대한 적대적 공격은 다른 여러 부분에서 꾸준히 증가했다.

올해 미국 국립 취약점 데이터베이스(미국 과학기술위원회 산하)는 상용 시스템의 머신러닝 구성요소에 대한 첫 공통 취약점 및 노출 보고서를 발행했다. 또한 소프트웨어 공학 연구소의 CERT 협력 센터(CERT Coordination Center)도 많은 머신러닝 시스템이 임의 오분류(arbitrary misclassification) 공격에 얼마나 취약한지를 경고하는 첫 취약점을 공지했다.

지난해 말, 가트너는 향후 2년 동안 AI 앱을 대상으로 한 모든 사이버공격의 30%가 적대적 전술을 사용할 것으로 예측했다. 이런 상황에도 불구하고 AI 커뮤니티 내에서 적대적 공격 대응 모범 사례는 아직 자리를 잡지 못하고 있다. 마이크로소프트가 최근 실시한 설문에 따르면, 현재 시점에서 적대적 머신러닝의 위협을 심각하게 인식하거나 이런 공격의 위험을 완화할 수 있는 도구를 사용하는 기업은 극소수다.

진행 중인 적대적 공격을 식별하는 것이 가능하더라도, 공격을 받는 기업이 매우 다양한 형태를 취하는 것으로는 공격에 대응하기 어렵다. 또한 새로운 위협에 대한 여러 임기응변식 대응이 향후 선제적인 적대적 공격에 대응한 AI '강화' 전략으로 융합될지 여부도 알 수 없다.

적대적 공격 대응 머신러닝 보안 방법론

이런 공격이 많아지면서 적대적 위험을 탐지하고 처리하기 위한 합의된 방법론에 대한 AI 전문가들의 목소리도 커질 것이다.

최근 적대적 공격 방어 분야에서 중대한 이정표로, 마이크로소프트, MITRE와 11개의 조직이 적대적 머신러닝 위협 매트릭스(Adversarial ML Threat Matrix)를 발표했다. 이 매트릭스는 널리 사용되는 MITRE의 ATT&CK 프레임워크와 비슷한 구조의 확장 가능한 개방형 프레임워크로, 보안 분석가가 머신러닝 시스템을 중단시키고 기만하는 데 사용되는 가장 일반적인 적대적 전술을 분류할 수 있게 해준다.

카네기 멜론 대학을 비롯한 유수의 연구 대학교에서 공동으로 개발한 이 프레임워크는 이러한 공격이 진행 중인지 또는 이미 일어났는지 여부를 탐지하도록 기업의 머신러닝 시스템을 모니터링하기 위한 기술을 제공하며, 프로덕션 머신러닝 시스템을 대상으로 하는 취약점과 적대적 행동 목록을 제시한다. 또한 마이크로소프트 테이(Tay) 포이즈닝, 프루프포인트(Proofpoint) 회피 공격과 같이 잘 알려진 공격을 이 프레임워크로 분석하는 방법을 설명하는 사례 연구도 제공한다.

프레임워크에 설명되어 있듯이, 머신러닝 앱을 손상시키기 위한 주요 적대적 전술은 4가지로 분류된다.

기능적 추출(Functional extraction)은 임의의 입력으로 반복적으로 모델을 쿼리함으로써 기능적인 등가 머신러닝 모델을 무단으로 재구축하는 수법이다. 공격자는 모델을 추론해 매우 정확하게 오프라인 복사본을 생성해 배포된 프로덕션 머신러닝 모델에 대한 추가 공격을 이끈다.

모델 회피(model evasion)는 공격자가 탐지하기 어려운 픽셀 수준의 이미지 변경과 같은 임의의 입력을 반복적으로 적용하는 수법이다. 이 변경은 현실적으로 사람이 인지할 수 없는 수준이지만 취약한 머신러닝 모델은 이로 인해 이미지 또는 기타 변조된 콘텐츠를 부정확하게 분류하게 된다.

모델 전도(Model inversion)는 머신러닝 모델을 구축하는 데 사용된 예측 기능을 무단으로 재구축한다. 이를 통해 공격자는 모델 학습에 사용된 비공개 데이터를 침해하는 추론을 실행할 수 있다.

모델 포이즈닝은 중독된 머신러닝 모델의 런타임에 임의의 입력 데이터가 유입되는 경우 특정 무단 추론을 은밀하게 생성하기 위한 학습 데이터 오염을 의미한다.

이런 전술은 개별적으로 사용하든 다양한 방법으로 조합하는 공격자에게 은밀하게 AI 앱을 '재프로그램'하거나 귀중한 지적 재산(데이터 및 머신러닝 모델)을 훔칠 수 있게 해준다. 모두 애플리케이션, 데이터베이스 및 기타 머신러닝 알고리즘을 중심으로 하는 온라인 시스템을 대상으로 한 사기와 첩보전, 사보타주에 활용 가능한 잠재적인 도구다.

실효성 있는 적대적 공격 대응 머신러닝 도구와 전술

적대적 공격 대응 전술은 머신러닝 개발 파이프라인에 깊이 뿌리를 두고, 코드 리포지토리와 CI/CD(지속적 통합/지속적 제공) 및 기타 데브옵스 인프라와 툴을 활용해야 한다.

이 프레임워크의 제작자들은 데브섹옵스(Devsecops)와 전통적인 애플리케이션 보안 대책을 기반으로 중대한 대응책을 포함하는 다면적인 적대적 공격 대응 방법론의 필요성을 역설한다.

안전한 코딩 습관은 머신러닝 프로그램에서 악용 가능한 적대적 취약점을 줄이고 다른 엔지니어가 소스코드를 감사할 수 있도록 한다. 또한 인기 있는 머신러닝 프레임워크의 보안 규정 준수 코드 예제는 적대적 공격에 대비해 강화된 머신러닝 앱의 확산에 기여할 수 있다. 

지금까지는 텐서플로우(TensorFlow)가 전통적인 소프트웨어 공격에 대한 종합적인 가이드와 적대적 공격을 테스트하기 위한 도구 링크를 제공하는 유일한 머신러닝 프레임워크다. 프레임워크 제작자는 머신러닝 앱을 컨테이너화하는 방법이 침해되지 않은 머신러닝 시스템을 적대적 공격의 영향을 받은 머신러닝 시스템의 영향으로부터 격리하는 데 도움이 되는지 살펴볼 것을 권장한다.

코드 분석 툴은 코딩 과정에서 또는 앱이 특정 코드 경로를 실행할 때 머신러닝 앱의 잠재적인 적대적 약점을 탐지하는 데 도움이 된다. cleverhans, secml, IBM의 애드버세리얼 로버스트니스 툴박스(Adversarial Robustness Toolbox)와 같은 머신러닝 툴은 다양한 수준의 정적 및 동적 머신러닝 코드 테스트를 지원한다. 

적대적 머신러닝 위협 매트릭스 발표자들은 이런 도구가 포괄적인 머신러닝 개발 툴킷에 통합되어 머신러닝 앱이 코드 리포지토리에 커밋되기 전에 세부적인 코드 평가를 지원해야 한다고 강조한다. 또한 이들은 적대적 머신러닝에 대한 동적 코드 분석 툴을 CI/CD 파이프라인에 통합할 것을 권장한다. 이렇게 되면 프로덕션 머신러닝 앱에서 적대적 머신러닝 테스트를 자동화할 수 있다.

시스템 감사와 로깅 툴은 적대적 프로세스를 비롯해 머신러닝 시스템에서 실행되는 기타 이상 프로세스를 런타임에 탐지할 수 있도록 지원한다. 매트릭스 발표자들은 머신러닝 플랫폼이 이런 도구를 사용해 최소한 관리되는 리포지토리에 기재된 공격이라도 모니터링해야 한다고 강조한다. 이렇게 하면 적대적 공격을 진원지까지 추적하고 이상 이벤트 로그를 보안 사고 및 이벤트 관리 시스템으로 내보낼 수 있다. 이들은 보안 분석가 사이에서 손쉽게 공유가 가능한 형식으로 작성된 탐지 방법이 필요하다고 주장한다. 또한 영향을 받는 공급업체, 사용자 및 기타 이해당사자에게 경고하기 위해 적대적 머신러닝 연구 커뮤니티에 미국 국립 취약점 데이터베이스와 같은 추적 가능한 시스템에 적대적 취약점을 등록할 것을 권장했다.

확대되는 지식 기반

새로운 적대적 공격 대응 프레임워크의 제작자들은 깃허브 리포지토리를 통해 이른바 '통제되는 공격 리포지토리(curated repository of attacks)'에 대한 접근권한을 제공한다. 검색 가능한 이 리소스에 문서화되어 있는 모든 공격에는 적대적 기법, 이 기법을 사용하는 것으로 관찰된 지능적 지속 위협의 유형, 탐지를 위한 권장 사항, 추가 정보를 제공하는 자료에 대한 참조가 함께 제공된다.

AI 및 보안 전문가는 새로운 적대적 머신러닝 공격 벡터를 인지할 경우 이 리포지토리에 해당 벡터를 등록해야 한다. 이렇게 해서 갈수록 넓어지는 위협에 보조를 맞춰 배포된 머신러닝 앱의 무결성, 보안, 신뢰성을 강화할 수 있다.

또한 향후 AI 애플리케이션 개발자와 보안 분석가가 해야 할 일은 다음과 같다.
 

• 모든 프로덕션 머신러닝 애플리케이션에서 적대적 공격 가능성을 전제한다.
• 취약한 코드를 쓰거나 배포하기 전에 적대적 위협 평가를 실시한다.
• AI 학습 파이프라인의 표준 위험 완화 활동으로 적대적 위협 예시를 생성한다.
• 폭넓은 적대적 입력에 대해 AI 앱을 테스트해서 추론의 견고함을 확인한다.
• 새로운 적대적 머신러닝 위협 매트릭스가 제공하는 것과 같은 적대적 방어 지식을 재사용해 위조 입력 예시에 대한 AI의 탄력성을 개선한다.
• 배포된 AI 모델의 라이프사이클 전반에서 적대적 공격 방어를 지속적으로 업데이트한다.
• 데이터 과학자에게 세밀한 적대적 공격 대응 방법론을 제공해 AI 개발 및 운영화 라이프사이클 전반에서 이런 방법을 적용하도록 유도한다.

새로운 적대적 머신러닝 위협 매트릭스에 대한 추가 정보는 이 이니셔티브의 깃허브 리포지토리, MITRE 공지 및 카네기 멜론 SEI/CERT의 블로그 게시글에서 볼 수 있다. 자체적인 적대적 공격 대응 전략을 수립하는 보안 분석가에게 유용한 다른 리소스로는 마이크로소프트의 머신러닝 장애 모드 분류, 머신러닝 시스템을 위한 위협 모델링 가이드, 머신러닝 시스템에 대한 공격을 체계적으로 분류하기 위한 보안 개발 라이프사이클 버그 바 등이 있다. editor@itworld.co.kr