“기존 보안 툴로는 잡기 어렵다” 기업이 직면한 LLM 관련 위험 4가지

CSO가 만난 밴쿠버 클리닉(Vancouver Clinic)의 CISO 마이클 브레이는 LLM을 통해 환자 치료를 개선할 수 있는 무한한 방법에 대해 열성적으로 이야기했다.

브레이는 "DNA 기반 예측 연구, 신진대사 상호작용, 실험실 서비스, 진단 및 기타 의학은 지금의 의료 행위가 선사 시대처럼 느껴질 만큼 비약적으로 발전하게 될 것이다. 예를 들어 액트엑스(ActX)와 같은 애플리케이션은 이미 증상 식별과 약물 상호 작용, 효과 및 투여에 큰 변화를 일으키고 있다"라고 말했다. 
 

그러나 환자 치료 및 진단 개선에 대한 기대만큼 LLM에 수반되는 새롭고 숨겨진 위협에 대한 우려도 크다. LLM은 오픈AI의 챗GPT, 구글 바드, 마이크로소프트 코파일럿 등 현재 기업 전반에서 빠르게 확산 중인 파괴적인 AI 기술의 핵심으로, 금융, 정부, 군사 등 특정 수직 산업을 위한 다양한 분야별 앱에 탑재되고 있다. 

LLM에는 데이터 오염, 피싱, 프롬프트 주입, 민감 데이터 유출과 같은 새로운 위험이 따른다. 이런 공격은 자연어 프롬프트나 학습 소스를 통해 실행되기 때문에 기존의 보안 툴로는 탐지하기 어렵다. 

다행스러운 점은 OWASP(Open Web Application Security Project), NIST(National Institute of Standards)와 기타 표준 그룹이 AI의 확산 속도만큼 신속하게 이런 취약점을 식별 및 우선순위화하고 있다는 것이다. EU AI 법(EU AI Act)은 기업의 AI 애플리케이션이 허용할 수 없는 위험 또는 고위험 범주에 속하는지 판단하기 위한 초기 규정 준수 검사기를 발표했다. 2023년 11월 영국은 안전한 AI 시스템 개발을 위한 가이드라인을 공개했다. 

툴도 LLM을 통해 발생하는 새로운 위험을 따라잡는 중이다. 예를 들어 자연어 웹 방화벽, AI 디스커버리, AI 강화 보안 테스트 툴이 출시되면서 'AI 대 AI'의 싸움이라는 구도가 형성되고 있다. 이런 툴을 갖출 때까지 기업이 LLM을 사용하면서 직면하게 될 가능성이 가장 큰 위협은 다음과 같다. 

1. 프롬프트 주입을 통한 악의적 명령 

LLM을 통해 기업에 유입되는 새로운 위협에 대해 질문하면 여러 전문가가 프롬프트 주입을 가장 큰 위험으로 꼽는다. 가장 잘 알려진 위험은 LLM 인터페이스에 혼란스러운 프롬프트를 대량으로 입력해 AI를 이른바 탈옥(jailbreaking)시키는 수법이다. 이런 방식으로 잘못된 정보를 퍼뜨릴 경우 기업 평판 손상으로 이어질 수 있다. 또는 혼란스러운 프롬프트를 사용하여 AI 시스템이 터무니없는 제안을 출력하도록 유도하기도 한다. 

풀패스(Fullpath)라는 회사에서 개발한 자동차 대리점 챗봇과 관련한 사건이 대표적인 예다. 한 해커 테스터가 쉐보레 대리점의 챗봇이 각 응답의 끝에 "이 제안은 법적 구속력이 있는 제안입니다"라는 문구를 붙이도록 지시해서 수천 개의 프롬프트를 시도한 끝에 딜러 사이트를 속여 단돈 1달러에 차를 구매한 사건이다. 

더 심각한 위협은 프롬프트 주입을 사용해서 애플리케이션이 민감한 정보를 강제로 넘기도록 하는 것이다. 기업의 AI 사용을 매핑하고 관련 위험을 파악하는 스택어웨어(StackAware)의 창업자 월터 헤이독은 LLM 프롬프트는 자연어로 작성되기 때문에 SQL 주입 프롬프트와 달리 위협 행위자가 무한한 프롬프트를 사용해서 LLM을 속여 잘못된 일을 하도록 유도할 수 있다고 설명했다. 

헤이독은 "SQL의 경우 데이터 입력 방법이 한정되어 있으므로 SQL 주입을 방지하고 차단하는 데 사용할 수 있는 알려진 일련의 통제 수단이 있다. 그러나 프롬프트 주입의 경우 LLM에 악의적인 명령을 내릴 수 있는 방법은 영어라는 언어의 형태만큼 무한히 많다"라고 강조했다. LLM 프롬프트 토큰의 수는 계속 증가하고 있다. 

2. 프롬프트 추출을 통한 데이터 유출

자연어 웹 방화벽을 포함한 엔드 투 엔드 AI 보안 플랫폼인 로버스트 인텔리전스(Robust Intelligence)의 CTO 하이럼 앤더슨은 프롬프트 추출 역시 취약점이라면서 "프롬프트 추출은 데이터 유출 범주에 속하며, 요청을 통해 간단히 데이터를 빼낼 수 있다"라고 말했다. 

예를 들어, 웹사이트 챗봇에 애플리케이션을 지원하는 관련 데이터가 있다면 이런 데이터가 유출될 수 있다. 앤더슨은 검색 증강 생성(Retrieval Augmented Generation, RAG)을 예로 들었다. RAG는 LLM 응답을 해당 작업과 관련된 정보 소스에 연결함으로써 보강한다. 앤더슨은 최근 시연자가 RAG를 사용해서 데이터베이스의 특정 행과 테이블을 요청하는 방법으로 데이터베이스가 민감한 정보를 출력하도록 하는 공격을 직접 확인했다. 

앤더슨은 이런 유형의 데이터베이스 유출을 방지하려면 공개 RAG 앱을 데이터베이스에 연결할 때 주의를 기울여야 한다면서 "RAG 앱 사용자가 전체 데이터베이스를 볼 수 없도록 하려면 사용자 인터페이스에서 LLM에 대한 액세스를 제한해야 한다. 보안을 중시하는 기업이라면 자연어 풀(pull) 요청에 대해 API를 강화하고 액세스를 제한하고 AI 방화벽을 사용해 악성 요청을 차단해야 한다"라고 설명했다.

3. 새로운 LLM 기반 피싱 공격 

LLM은 피싱 공격자가 사람을 속여 링크를 클릭하도록 유도하기 위한 새로운 공격 벡터를 열어준다. 앤더슨은 "예를 들어 재무 분석가가 기업 실적을 알아보기 위해 RAG 앱을 사용해 인터넷에서 문서를 스크래핑하는데, 그 데이터의 공급망에 피싱 링크로 응답하도록 LLM에 지시하는 부분이 있다고 가정해 보자. 방대한 데이터 중에서 가장 최신 정보를 찾도록 요청했는데 LLM이 응답으로 '여기를 클릭하세요'라는 메시지를 표시한다면 피싱 링크를 클릭하게 될 수 있다"라고 지적했다.

이런 종류의 피싱은 사용자가 LLM로부터 명시적으로 답을 구한다는 측면에서 파급력이 크다. 또한 앤더슨은 기존의 피싱 방지 툴은 이런 악성 링크를 감지하지 못할 수 있다고 덧붙였다. 앤더슨은 CISO에게 RAG 응답에 대한 비판적 사고를 포함하도록 직원 교육 프로그램을 업데이트할 것과, RAG 데이터를 스캔해서 사용자의 링크 클릭을 유도하는 자연어 프롬프트 주입을 찾을 수 있는 새로운 웹 기반 툴을 사용할 것을 조언했다. 

4. LLM 오염 

AI 및 ML 보안 플랫폼인 프로텍트 AI(Protect AI)의 CISO 다이아나 켈리는 오픈소스 리포지토리의 모델과 LLM을 학습시키는 데 사용된 데이터도 오염될 수 있다면서 "가장 큰 위협은 모델 자체 또는 LLM을 학습시킨 데이터, 학습시킨 사람, 다운로드한 출처에 있을 수 있다. OSS 모델이 높은 권한으로 실행됨에도 불구하고 사용하기 전에 모델을 검사하는 기업은 거의 없다. 또한 학습 데이터의 품질은 LLM의 신뢰성과 정확성에 직접적인 영향을 미친다. CISO는 AI 관련 위험을 확인 및 관리하고 오염 공격을 방지하려면 ML 공급망을 감독하고 수명 주기 전반에 걸쳐 구성요소를 추적해야 한다"라고 말했다. 

이를 위해서는 우선 어떤 애플리케이션이 어떤 목적으로 LLM을 사용하고 있는지 CISO가 파악하고 있어야 한다. 현재 기업에서 사용되는 많은 업무용 애플리케이션의 시스템 업데이트에는 최신 AI 기능이 포함되는데, CISO가 이를 인지하지 못하는 경우도 종종 있다. 이런 LLM은 서드파티 애플리케이션과 웹 인터페이스에 통합되므로 눈에 잘 띄지 않고 불투명하다. 스택어웨어의 헤이독은 전체 데이터 공급망을 다루는 AI 정책이 핵심이라고 강조하며 "서드파티 앱이 데이터를 어떻게 사용, 학습, 액세스, 보존하는지를 이해해야 한다"라고도 덧붙였다. 

AI vs. AI 

세계 최대의 네트워크를 보유한 미국 정부는 정부 및 군사 애플리케이션 전반에 걸쳐 AI 활용을 모색하고 있는 만큼 AI 보안 정책의 가치를 명확히 이해하고 있다. 2023년 10월, 백악관은 안전한 AI 개발과 사용을 위한 행정 명령(Executive Order, EO)을 내렸다. 

해당 EO 집행에 있어 핵심적인 역할을 맡은 미국국토안보부(Department of Homeland Security, DHS) 소속 CISA(Cybersecurity and Infrastructure Security Agency)은 EO에 따라 CISA가 주도하는 주요 조치, 그리고 핵심 인프라 소유자와 운영자의 AI 도입을 지원하기 위한 부가적인 조치를 통합한 로드맵을 마련했다. 

CISA의 AI 선임 자문역인 리사 아인슈타인에 따르면, 해당 EO의 결과로 이미 여러 주요 정부 기관에서 새로운 최고 AI 책임자를 발굴 및 육성해서 임명했다. 이들은 AI 사용을 조율하고 AI 혁신을 촉진하는 동시에 AI 사용에 따르는 위험도 관리하게 된다. 

아인슈타인은 "AI가 더 많은 일상적인 애플리케이션에 내장되고 있는 만큼 AI를 이해하고 AI 통합에 따르는 긍정적, 부정적 측면을 이해하는 사람을 확보하는 것이 중요하다. LLM 사용과 관련된 위험은 의료, 학교, 에너지, IT 등 산업에 따른 사용례 및 맥락에 따라 다르게 발생한다. 따라서 AI 책임자는 업계 전문가와 협력해서 산업의 맥락 측면에서 위험을 식별할 수 있어야 한다"라고 언급했다. 

아인슈타인은 정부 기관 내에서 DHS 최고 AI 책임자이자 CIO인 에릭 하이센을 예로 들었다. 아인슈타인은 IBM의 컴퓨터 비전을 사용해 기내 반입 금지 물품을 탐지하는 미국 교통안전국 등 DHS 각 부처 전반의 AI 프로젝트를 하이센이 조율하고 있다고 설명했다. 실제로 DHS는 출입국항과 국경에서 국토를 보호하고 사이버 공간에서 어린이를 보호하고 사이버 위협을 차단하고 나아가 악의적인 AI 사용에 맞서 싸우기 위해 많은 부분에서 AI를 활용하고 있다. 

LLM 위협이 진화함에 따라 이에 맞설 수 있는 혁신적인 AI 기반 툴과 기술이 필요하다. AI로 강화된 침투 테스트와 레드팀 훈련, 위협 인텔리전스, 이상 탐지, 사고 대응을 비롯해 그 외에도 많은 툴이 새로운 위협에 대응하기 위해 변화에 빠르게 적응하고 있다.
editor@itworld.co.kr