AIㆍML / 보안

글로벌 칼럼 | 보안 맥락에서 바라보는 AI의 좋은 점, 나쁜 점, 추악한 점

Michiel Prins | InfoWorld 2023.09.27
기술 분야에서 2010년대 후반은 대대적인 변화가 아닌 약간의 조정이 대부분이었다. 스마트폰은 ‘약간 더’ 좋아졌고 컴퓨터 처리 능력은 ‘다소’ 향상됐다. 그리고 나서 2022년 오픈AI가 챗GPT를 공개하면서 갑자기 질적으로 새로운 시대를 맞이하게 됐다.
 
ⓒ Getty Images Bank

최근 몇 달 동안 AI와 관련한 예측이 쏟아졌다. 미래학자들은 AI가 의료, 엔터테인먼트, 교육 등 모든 분야를 급격하게 개편할 것이라고 경고한다. 어쩌면 미래학자들의 전망이 현실과 가까울 수 있다. 챗GPT를 몇 분 만이라도 사용해 보면 엄청난 변화가 다가오고 있다는 것을 체감할 수 있다.

기술을 둘러싼 모든 흥분과 함께 기술이 사이버보안에 미치는 좋은 과 나쁜 점, 그리고 추악한 을 파악하는 것이 중요하다. 좋은 용도로 사용할 수 있는 도구도 악용될 수 있다는 것은 기술 세계의 어쩔 수 없는 규칙이지만, 위험을 이해하고 책임감 있게 처리하는 방법을 이해하는 것이 중요하다. LLM(Large Language Model)과 생성형 AI(Generative AI)는 우리가 이해해야 할 다음 단계의 도구일 뿐이다.


좋은 점 : 사이버보안 강화

LLM과 AI 기술이 미치는 영향을 고려할 때 대부분 사람이 가장 먼저 염려하는 것은 악의적인 목적으로 사용될 수 있다는 점이다. 하지만 LLM과 AI 기술이 사이버보안 분야에 긍정적이고 가시적인 변화를 가져온 만큼 현실은 좀 더 미묘하다.

예를 들어, IBM 보고서에 따르면 AI 및 자동화된 모니터링 도구가 침해 탐지 및 차단 속도 개선에 가장 큰 영향을 미쳤다고 한다. 이런 도구를 활용하는 기업은 그렇지 않은 기업보다 침해 수명 주기가 더 짧다. 소프트웨어 공급망 침해는 기업의 재정, 파트너, 평판에 파괴적이고 장기적인 영향을 미친다. 조기 탐지는 보안팀에 즉각적인 조치를 취하는 데 필요한 컨텍스트를 제공해 잠재적으로 수백만 달러의 비용을 절감할 수 있다.

이런 이점에도 불구하고 IBM 보고서에서 조사한 기업 중 솔루션 스택 내에서 보안 AI와 자동화를 적극적으로 활용하는 곳은 약 40%에 불과했다. 자동화된 도구와 강력한 취약성 공개 프로그램, 윤리적 해커의 지속적인 공격 테스트의 결합으로 기업은 사이버보안 전략을 완성하고 방어를 강화할 수 있다.


나쁜 점 : 초보 사용자의 의도치 않은 오용

역설적으로 LLM은 위협 행위자에게 소셜 엔지니어링 기법 개선과 같은 엄청난 이점을 제공한다. 하지만 LLM이 현직 전문가와 그들이 보유한 기술을 대체할 수는 없다.

AI는 ‘궁극의 생산성 해킹’으로 불리며 개인이 자신의 기술과 생산성을 새로운 차원으로 끌어올릴 수 있는 도구라고 믿게 만들었다. 혁신을 위한 경쟁으로 인해 기업이 AI 기반 생산성 도구를 빠르게 채택하게 되면 새로운 공격 표면과 벡터가 생겨날 수 있고, 결과적으로 사이버보안 측면에서 오용될 가능성이 매우 높다.

이미 널리 알려진 오용 사례도 있다. 2023년 한 변호사가 챗GPT에 초안 작성을 지시한 법률 브리핑이 허위 및 조작된 법적 인용으로 가득 찬 것으로 밝혀져 본인과 의뢰인에게 끔찍한 결과를 초래한 바 있다. 사이버보안 맥락에서, 경험이 부족한 프로그래머는 어려운 코딩 문제에 직면했을 때 프로젝트에 도움이 되는 AI 도구에 의존할 수 있다. 본질적으로 부정적인 일은 아니지만, 코드 검토 프로세스가 제대로 확립되어 있지 않고 코드가 심사 없이 배포될 경우 문제가 발생할 수 있다.

예를 들어, 많은 사용자가 LLM이 허위 또는 완전히 잘못된 정보를 생성할 수 있다는 사실을 인지하지 못한다. 마찬가지로 LLM은 손상되었거나 작동하지 않는 코드를 프로그래머에게 반환하고, 프로그래머는 이를 프로젝트에 구현하여 잠재적으로 조직을 새로운 위협에 노출시킬 수 있다.

AI 도구와 LLM은 분명 인상적인 속도로 발전하고 있다. 그러나 현재의 한계를 인지하고 이를 소프트웨어 개발 관행에 안전하게 통합하는 방법을 이해할 필요가 있다. 


추악한 점 : 맬웨어를 퍼뜨리는 AI 봇

올해 초 보안업체 히아스(HYAS) 연구팀은 블랙맘바(BlackMamba)라는 개념 증명 맬웨어를 개발했다고 발표했다. 이와 같은 개념 증명은 사이버보안 전문가가 문제에 대해 경각심을 갖도록 하기 위해 위협적으로 설계되는 경우가 많다. 하지만 블랙맘바는 다른 맬웨어보다 훨씬 더 충격적이었다.

블랙맘바는 가장 복잡한 사이버보안 제품을 포함한 모든 사이버보안 제품을 우회할 수 있는 익스플로잇이다. 히아스의 수석 보안 엔지니어 제프 심스는 블로그 게시물에서 위협에 대해 다음과 같이 설명했다. 

블랙맘바는 런타임에 평판이 높은 API(오픈AI)에 접속하는 정상 실행 파일을 통해 사용자의 키 입력을 훔치는 데 필요한 합성된 악성 코드를 반환할 수 있다. 그런 다음 파이썬의 exec() 함수를 사용해 정상 프로그램의 컨텍스트 내에서 동적으로 생성된 코드를 실행한다. 악성 다형성 부분은 메모리에 완전히 남아 있다. 블랙맘바는 실행될 때마다 키로깅 기능을 재합성해 맬웨어의 악성 구성 요소를 진정한 다형성으로 만든다.

블랙맘바는 고도로 통제된 개념 증명 맬웨어였지만, 결코 추상적이거나 비현실적인 우려가 아니다. 윤리적 해커가 이런 방법을 발견했다면 위협 행위자 역시 비슷한 방법을 탐구하고 있을 것이다. 


기업의 생존 전략

현재로서는 직원 교육을 재고해 직장에서 AI 도구를 책임감 있게 사용하기 위한 지침을 통합하는 것이 가장 현명한 방법이다. 소셜 엔지니어링 기법이 GAN(Generative Adversarial Network) 및 LLM로 정교하게 강화된 부분도 교육에서 강조해야 한다. 

AI 기술을 워크플로우와 제품에 통합하는 대기업은 구현에 일반적인 취약점과 실수가 없는지 테스트해 침해 위험을 최소화해야 한다. 또한 기업은 엄격한 코드 검토 프로세스를 준수하고, 특히 LLM의 도움을 받아 개발한 코드의 경우 기존 시스템 내의 취약점을 식별할 수 있는 적절한 채널을 마련하는 것이 좋다. 

*Michiel Prins는 HackerOne 공동 창립자다.
editor@itworld.co.kr
 Tags 생성형AI LLM
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.