마이크로소프트와 오픈AI, 생성형 AI 기반 해킹 대응에 나서다

오픈AI의 챗GPT나 마이크로소프트의 코파일럿 같은 생성형 AI의 악용 가능성 중 가장 큰 우려를 불러일으키는 것은 탐지하기 어려운 악성 코드 개발에 사용될 수 있다는 점이다. 러시아, 이란, 북한 같은 국가가 적대국가에 사이버 공격을 감행할 때 생성형 AI를 활용할 수도 있다는 지적도 있다.

나쁜 소식은 이 우려가 이미 현실이 되었다는 것이다. 다행히 지금까지 특별히 위험하거나 효과적인 공격은 없었다. 더 좋은 소식은 마이크로소프트와 오픈AI가 이 악용 가능성을 심각하게 받아들이고 있다는 점이다. 이들 기업은 공격을 공개적으로 설명하고 대응 조치를 공유하는 등 투명한 태도로 대응하고 있다.
 

AI 해킹은 아직 초기 단계다. 그러나 생성형 AI가 정교한 악성코드를 만들 수는 없어도, 스피어 피싱 같은 사회공학적 기법이나 비밀번호∙신원 도용으로 보안이 강화된 시스템에 침입하는 기존 기법에 효과를 더할 수는 있다.
 

지금까지의 생성형 AI 공격

마이크로소프트와 오픈AI는 최근 생성형 AI로 만들어진 공격이 급증하고 있다며 대응 방법을 상세히 설명했다. (이 공격은 마이크로소프트 코파일럿의 기반이기도 한 오픈AI의 챗GPT로 이루어졌고, 마이크로소프트는 오픈AI에 130억 달러를 투자했다.)

오픈AI는 중국의 차콜 타이푼, 샐먼 타이푼, 이란의 크림슨 샌드스톰, 북한의 에메랄드 슬릿, 러시아의 포레스트 블리자드 등 국가와 연관이 있는 악성 행위자 5곳의 해킹 시도를 차단했다고 설명했다. 이 악성 행위자 단체는 오픈소스 정보 쿼리, 번역, 코딩 오류 찾기, 기본 코딩 작업 실행에 오픈AI 서비스를 사용한 것으로 알려졌다.

오픈AI는 공격자 양상이 상당히 다양하다고 밝혔다. 예를 들어 차콜 타이푼은 “다양한 기업과 사이버 보안 도구 조사, 코드 디버깅, 스크립트 생성, 피싱 캠페인용 콘텐츠 제작” 등에 오픈AI 서비스를 사용했다. 포레스트 블리자드는 위성 통신 프로토콜과 레이더 이미징 기술에 대한 오픈소스 연구와 스크립팅 작업 지원에 오픈AI 서비스를 사용했다. 크림슨 샌드스톰은 앱과 웹 개발에 관련된 스크립팅 지원, 스피어 피싱 캠페인용 콘텐츠 생성, 악성코드가 탐지를 회피하는 방법 연구에 사용했다.

그러나 아직까지 강력한 코딩, 탐지를 우회하는 새로운 기술, 진지한 수준의 발전은 관찰되지 않았다. 오픈AI 도구는 주로 기존 악성코드와 해킹 캠페인을 지원하는 과정에 사용됐다.

오픈AI는 “행위자 단체의 활동은 외부 사이버 보안 전문가와 협력해 실시한 기존 레드팀 테스트 결과와 일치한다. GPT-4는 이미 공개돼 있는 비AI 기반 도구로 가능한 수준을 넘어서는 악성 사이버 보안 공격에 제한적이고 점진적인 기능만 제공한다”라고 결론지었다.

마이크로소프트 역시 별도의 블로그 게시물에서 오픈AI를 지지하고 자세한 내용을 밝히면서 해킹에 대응하는 프레임워크를 설명했다. 또한 “마이크로소프트와 오픈AI는 아직 위협 행위자가 AI를 사용해 특별히 새롭고 독특한 AI 기반 공격이나 악용 기술을 발견하지 못했다”라고 밝혔다.
 

나쁜 소식은?

마이크로소프트와 오픈AI가 생성형 AI의 해킹의 위험을 인식하고 대응 조치를 투명하게 공개한 결정은 매우 반가운 소식이다. 그러나 생성형 AI는 아직 발전하고 있는 기술이다. 언젠가 더 효과적인 악성코드와 해킹 도구를 만든다고 해도 놀랄 일이 아니다.

그런 수준에 이르지 않더라도 걱정할 것은 많다. 생성형 AI로 기존 기술이 훨씬 강력해질 수 있기 때문이다. 해킹의 성공이나 위험 여부는 해킹 코드 품질과는 아무런 관련이 없다. 해커는 시스템에 침입해 혼란을 야기하는 비밀번호나 식별 정보를 넘겨주도록 사람들을 설득하는 소셜 엔지니어링에 의존한다.

2016년 대선 당시 러시아 정부와 연계된 단체 팬시 베어가 미국 대통령 후보 힐러리 클린턴의 선거캠프를 해킹해 이메일을 공개한 것이 바로 이런 예다. 이 단체는 캠페인 위원장인 존 포데스타의 개인 지메일로 구글로 위장한 비밀번호 변경 메일을 전송했다. 포데스타는 악성 링크를 클릭했고, 해커는 비밀번호를 훔친 후 자격 증명을 도용해 캠페인 네트워크에 침입했다.

가장 효과적인 소셜 엔지니어링 기법은 아마도 특정인만 아는 정보가 포함된 이메일을 작성하거나 특정인에게 전화를 거는 스피어 피싱일 것이다. 생성형 AI가 빛을 발하는 지점이다. 특정 국가와 연계된 해커 단체는 외국어에 능숙하지 않은 경우가 많아 쉽게 가짜로 판별될 수 있다. 그러나 챗GPT나 코파일럿을 사용하면 훨씬 더 설득력 있고 자연스러운 이메일을 쓸 수 있다. 

사실 이미 해킹 단체가 사용하는 기술이기도 하다. 보안업체 슬래시넥스트(SlashNext)는 “악의적 활동을 전문으로 설계된” 생성형 AI 도구인 웜GPT(WormGPT)라는 툴킷이 이미 유포되고 있다고 밝혔다.

슬래시넥스트는 웜GPT에 “계정 관리자가 사기 송장을 지불 처리하게 만드는” 내용의 이메일을 작성하라고 요청하는 테스트를 수행했다. 결과는 놀라웠다. 슬래시넥스트는 “웜GPT는 매우 설득력 있고 교묘한 이메일을 생성해 정교한 피싱 및 비즈니스 이메일 침해 공격에 악용될 위험을 나타냈다. 챗GPT와 유사하지만 윤리적 한계가 없다. 초보 사이버 범죄자도 웜GPT 같은 생성형 AI 기술을 사용해 심각한 위협으로 발전할 수 있다”라고 전했다.

생성형 AI의 역량은 더 발전하고 있다. 가짜 사진과 가짜 동영상을 생성해 스피어 피싱 공격에 설득력을 더하는 것이다. 개인정보를 찾기 쉽도록 인터넷 검색을 도와줄 수도 있고 사람의 목소리를 모방할 수도 있다. (직장 상사나 IT 부서 직원이 전화를 걸어온다고 생각해 보자. 시키는 대로 할 가능성이 크다.)

모든 것이 현재 가능한 시나리오다. 슬래시넥스트에 따르면 실제로 챗GPT 출시 이후 피싱 이메일이 1,265% 증가해 “생성형 AI가 주도하는 사이버 범죄의 새로운 시대를 알리는 신호탄”이 됐다.

오픈AI와 마이크로소프트가 상당한 노력을 기울여 생성형 AI 기반 해킹에 맞서기는 하겠지만, 스피어 피싱이나 소셜 엔지니어링 같은 오래된 공격도 한동안은 생성형 AI의 도움을 받아 가장 큰 위험으로 작용할 것이다.
editor@itworld.co.kr