가트너가 2021년 2월 실시한 설문조사에서도 보안이 AI 도입 시 가장 큰 걸림돌이었다. 보안은 AI 솔루션을 기존 인프라에 통합하는 데 따르는 복잡성과 함께 1위를 차지했다.
마이크로소프트가 같은 해 3월 발표한 논문에 따르면, 기업의 90%는 적대적 머신러닝(Adversarial Machine Learning)에서 기업 시스템을 보호할 준비가 되어 있지 않다. 논문에서 다룬 28곳의 대/소규모 기업 가운데 25곳에서 ML 시스템 보안에 필요한 툴을 배치하지 않았다.
AI/ML 시스템 보안은 상당히 어려운 작업이다. 몇몇 어려움은 AI 고유의 특성에 기인한다. 예를 들어 AI/ML 시스템은 데이터를 필요로 하는데, 민감 데이터나 독점적 정보는 공격자의 표적이 된다. AI/ML 보안의 또 다른 측면은 ‘적대적 머신러닝’처럼 낯설기만 하다.
적대적 머신러닝이란 무엇인가?
엄밀히 말해 적대적 머신러닝은 이름과는 달리 머신러닝이 아니다. ML 시스템을 공격하는 데 사용되는 일련의 기법이다.토론토 메트로폴리탄 대학교(Toronto Metropolitan University) 교수이자 글로벌 리서치 연구소(Global Research Institute)의 상임 연구원 알렉세이 루브초이는 “적대적 머신러닝은 ML 모델의 취약점과 특수성을 이용한다”라고 말했다. 루브초이는 최근 금융 서비스 산업 내 적대적 머신러닝에 관한 논문을 발표했다.
예를 들어, 적대적 머신러닝은 ML 매매 알고리즘이 잘못된 매매 결정을 내리도록 만들고, 사기 행위가 검출되기 어렵게 만들고, 부정확한 재무 조언을 제공하도록 만들고, 정서 분석 기반의 보고를 조작하도록 만드는 데 쓰일 수 있다.
적대적 머신러닝 공격 유형
루브초이에 따르면, 적대적 머신러닝 공격 유형은 크게 ▲중독(Poisoning) ▲회피(Evasion) ▲추출(Extraction) ▲추론(Inference) 4가지 영역으로 나눌 수 있다.
1. 중독 공격
중독 공격(Poisoning Attack)은 훈련 데이터 세트를 조작하는 것이다. 루브초이는 “훈련 데이터를 의도적으로 편향시키면 ML 시스템의 학습은 잘못된 방향으로 나아간다”라고 말했다. 집에 AI로 구동되는 보안 카메라가 있다고 가정해 보자. 공격자가 매일 오전 3시에 표적의 집을 지나치면서 개가 잔디를 건너게 만들면 보안 시스템이 발동한다. 거주자는 개로 인한 보안 경보를 막기 위해 오전 3시의 경보를 끄게 된다. 매일 오전 3시에 발생하는 보안 경보가 사실상 무해한 것이라는 훈련 데이터가 제공된 셈이다. 시스템이 오전 3시에 발생하는 일이 무엇이든 무시하라고 훈련을 받았을 때가 바로 공격 시점이다.
2. 회피 공격
회피 공격(Evasion Attack)에서는 이미 훈련을 받은 모델의 입력값을 약간 변경한다. 루브초이는 “정지 표지에 스티커를 붙여 시스템이 이를 정지 표지가 아니라 양보 표지로 해석하게 만드는 식이다”라고 설명했다. 앞서 언급한 개 산책 사례로 예를 들면, 도둑이 집에 침입하기 위해 개 복장을 입는 것이다. 루브초이는 “회피 공격은 시스템을 속이는 착시 효과와 같다”라고 말했다.
3. 추출 공격
추출 공격(Extraction Attack)에서 ‘적’은 AI 시스템 사본을 입수한다. 루브초이에 따르면, 간혹 모델에게 주어진 입력값과 모델이 제공하는 출력값을 보기만 해도 모델을 추출할 수 있다. 모델을 건드려서 반응을 관찰한다. 충분히 건드릴 수 있다면 상대방은 자신의 모델도 동일하게 행동하도록 가르칠 수 있다”라고 말했다.예를 들어, 2019년 프루프포인트의 이메일 프로텍션(Email Protection) 시스템에서 발견된 취약점은 이메일이 스팸일 가능성에 대한 점수를 담은 헤더를 생성했다. 공격자는 이 점수를 기반으로 프루프포인트의 스팸 검출 엔진을 모방했고, 이메일 프로텍션 시스템을 회피하는 스팸 이메일을 생성했다.
한 기업이 상용 AI 제품을 사용한다면 공격자도 해당 제품 혹은 서비스를 구매해 얼마든지 사본을 얻을 수 있다. 안티바이러스 엔진에 공격자가 자신의 악성코드를 테스트할 수 있는 플랫폼이 있을 수 있으며, 개 산책 사례에서는 공격자가 망원경으로 보안 카메라의 브랜드를 확인하나 후 같은 제품을 구입해 우회할 방법을 찾는 것이다.
4. 추론 공격
추론 공격(Inference Attack)에서 공격자는 시스템 훈련에 어떤 데이터를 사용했는지 파악하고 데이터의 취약점이나 편향을 악용한다. 루브초이는 “훈련 데이터를 파악할 수 있다면, 상식이나 정교한 기법을 통해 그 데이터를 활용할 수 있다”라고 말했다.개 산책 사례에서 공격자가 해당 지역의 일상적인 교통 패턴을 파악하기 위해 집 근처에 잠복해 있으면, 매일 오전 3시에 개를 산책시키는 사람이 지나가는 것을 알아내고, 시스템이 편향되었고, 개를 산책시키는 사람을 무시하도록 학습했음을 파악할 수 있다.
적대적 머신러닝 공격을 방어하는 방법
루브초이는 훈련 데이터가 편향이 없고 공격자가 고의로 데이터를 훼손할 수 없는지 확인하라고 조언했다. 루브초이는 “몇몇 ML 모델은 강화 학습(reinforcement learning)을 통해 새 데이터가 도착하는 즉시 학습한다. 이때는 새로운 데이터를 취급하는 방법에 유의해야 한다”라고 말했다. 서드파티 시스템을 이용할 때는 솔루션 업체에 적대적 공격에서 시스템을 보호하는 방법을 질문해야 한다. 루브초이는 “어떠한 대비도 하지 않는 솔루션 업체가 많다. 심지어 적대적 머신러닝 공격이 있는지도 모른다”라고 지적했다.
가트너에 따르면, 일반 소프트웨어에 대한 대다수 공격은 AI에도 적용될 수 있다. 따라서 여러 전통적인 보안 대책은 AI 시스템을 보호하는 데도 쓰인다. 예를 들어, 데이터 액세스나 훼손을 방어하는 솔루션은 훈련 데이터의 조작 역시 보호할 수 있다.
또한 가트너는 AI/ML 시스템을 보유한 기업이 추가 보호 조치를 취해야 한다고 권고했다. 구체적으로 ▲AI 모델의 무결성 보호를 위해 신뢰할 수 있는 AI 원칙을 도입해 모델 검증을 시행하고 ▲AI 훈련 데이터의 무결성 보호를 위해 데이터 중독 검출 기술을 이용하는 것이다.
적대적 전술 및 기법에 대한 업계 표준인 어택(ATT&CK) 프레임워크를 구축한 마이터는 이른바 적대적 머신러닝 위협 매트릭스(Adversarial Machine Learning Threat Matrix)라는 AI 시스템 공격 프레임워크를 개발하기 위해 마이크로소프트를 비롯한 11개 기업과 협력했다. 이는 인공지능 시스템에 관한 적대적 위협 지형(Adversarial Threat Landscape for Artificial-Intelligence Systems, ATLAS)으로 명칭이 변경되었고, ML 시스템 공격의 12단계까지 아우른다.
일부 솔루션 업체는 기업이 AI 시스템을 보호하고 적대적 머신러닝을 방어하는 데 도움을 주는 툴을 배포하기 시작했다. 2021년 5월 마이크로소프트는 AI 시스템의 보안을 테스트하는 오픈소스 자동화 툴인 카운터핏(Counterfit)을 배포했다. 애저 트러스트워시 ML(Azure Trustworthy ML)의 AI 레드팀 책임자인 윌 퍼스는 블로그 게시물에서 “이 툴은 마이크로소프트 AI 시스템의 취약점을 평가하기 위한 자체적인 필요로 개발했다. 카운터핏은 개별 AI 모델을 노리는 공격 각본으로 시작했으며, 이후 다수의 AI 시스템을 규모 있게 공격하는 범용 자동화 툴로 변화했다. 오늘날 우리는 레드팀 활동의 일부로 카운터핏을 일상적으로 사용한다”라고 말했다.
퍼스에 따르면, 카운터핏은 마이터 어택의 ATLAS 공격 프레임워크 내 기법을 자동화하는 데 유용하다. AI 개발 단계에서 실무 투입 전에 취약점을 포착할 목적으로도 활용할 수 있다.
IBM도 오픈소스 적대적 머신러닝 방어 툴을 보유하고 있다. 적대적 견고성 툴박스(Adversarial Robustness Toolbox)라고 불리는 툴은 현재 리눅스 재단의 프로젝트로 운영된다. 보편적인 ML 프레임워크를 모두 지원하고 중독/회피/추출/추론 4개의 주요 범주로 나뉘는 39개의 공격 모듈을 포함한다.
AI vs. AI
텍사스 대학교 컴퓨터 과학 교수인 뮤랏 칸타시오글루는 미래에는 공격자가 머신러닝을 이용해 머신러닝 시스템에 대한 공격을 생성할 수 있다고 말했다. 예를 들어, 딥페이크 생성에 주로 사용되는 생성적 적대 신경망(Generative Adversarial Network, GAN)이라는 새로운 AI 유형이 있다. GAN은 지극히 실제적인 사진이나 영상을 만들어 사람이 진짜라고 생각하도록 속인다. 딥페이크는 온라인 사기에 가장 보편적으로 악용되지만, 검출할 수 없는 악성코드를 제작하는 데도 동일한 원리가 적용될 수 있다.칸타시오글루는 “GAN은 분류망과 생성망으로 나뉘며, 양측은 서로를 공격한다”라고 말했다. 예를 들어, 악성코드 분류 AI는 무엇이 악성코드인지를 파악하려고 시도하며, 악성코드 생성 AI는 분류망이 포착할 수 없는 악성코드를 생성하려고 시도할 수 있다. 두 시스템이 서로 경합하다 보면 최종적으로 검출하기가 거의 불가능한 악성코드가 만들어질 수 있는 것이다.
editor@itworld.co.kr
함께 보면 좋은 콘텐츠
Sponsored
Surfshark
“유료 VPN, 분명한 가치 있다” VPN 선택 가이드
ⓒ Surfshark VPN(가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다. 동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다. 무료 VPN, 정말 괜찮을까? 무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다. 보안 우려 대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다. 속도와 대역폭 제한 무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다. 서비스 제한 무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다. 광고 및 추적 위험 일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다. 제한된 기능 무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다. 유료 VPN의 필요성 최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다. 서프샤크 VPN은 구독 요금제 가입 후 7일간의 무료 체험을 제공하고 있다. ⓒ Surfshark 그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다. 보안 강화 해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다. 개인정보 보호 인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다. 지역 제한 해제 해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다. 빠르고 안전한 유료 VPN, 서프샤크 VPN ⓒ Surfshark 뛰어난 보안 서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다. 다양한 서버 위치 서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다. 속도와 대역폭 서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다. 다양한 플랫폼 지원 서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다. 디바이스 무제한 연결 서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.