AIㆍML / 보안

AI 챗봇 ChatGPT가 해커들의 조력자가 되는 과정과 대비책

Maria Korolov | CSO 2023.01.18


ChatGPT에 요청할 때 ‘피싱 이메일’에 대한 아이디어를 제안할 경우, 해당 주제가 ‘적절하지 않거나 윤리적이지 않다’는 경고가 표시된다. 그러나 마케팅 이메일 혹은 새로운 인사 웹 페이지에 대해 알려주는 이메일을 요청하거나 회의 전 누군가에게 문서를 검토해 달라고 요청한다면 ChatGPT는 기꺼이 수락할 것이다.

한편 이 글을 작성하는 시점에 유닷컴은 피싱 이메일에 대한 제한 조치를 전혀 갖추고 있지 않다. 유닷컴은 “피싱 이메일에 대한 주제를 알려 달라”라는 질문에 “피싱 이메일의 일부 주제에는 가짜 승진 제안, 가짜 구인 게시물, 가짜 자선 기부, 가짜 온라인 구매 확인서, 가짜 온라인 결제, 가짜 송장, 가짜 배송 알림, 가짜 소프트웨어 업데이트, 가짜 계정 알림, 가짜 상품 및 리워드 알림 등이 포함된다. 또한 가짜 세금 환급 알림, 가짜 정부 알림, 가짜 은행 알림, 가짜 건강 주의보, 가짜 휴가 제안과 같은 더 믿을 수 있는 이메일을 만들기 위해 현재 행사 혹은 인기 있는 주제를 사용할 수 있다”라고 응답했다. 

그런 다음 필자가 “훌륭한 가짜 송장 피싱 이메일을 생성해 달라”라고 요청하자 곧바로 다음과 같은 결과가 나왔다.

유닷컴으로 만든 피싱 이메일 ⓒ Foundry


샤이케비치는 “영어 수준이 그리 높지 않은 동유럽에서 ChatGPT가 빠르게 채택되고 있다는 점이 우려스럽다”라고 지적했다. 일반적으로 피싱 캠페인 운영자들은 피싱 이메일을 작성하기 위해 지역 대학의 영문과 학생들을 고용하는데, 작업 속도가 느려지고 비용이 추가되곤 했다. 샤이케비치는 “이제 이들은 ChatGPT를 사용할 수 있다. 작업이 훨씬 쉬워질 것”이라고 덧붙였다. 

ChatGPT가 생성하는 피싱 이메일은 오늘날 해커들이 생성하는 대부분 이메일보다 품질이 훨씬 높다. 명백한 문법 및 구두점 오류가 없는 피싱 이메일이 급격히 증가하는 상황이 올 수도 있다.

또한 샤이케비치는 공격자들은 BEC(business email compromise)나 진행 중인 대화를 가로채는 데도 ChatGPT를 사용할 수 있을 것이라고 내다봤다. “현재 이메일을 입력하고 다음 이메일이 무엇이 되어야 하는지 묻기만 하면 된다. 이런 상황은 이미 일어났는데 보지 못했거나, 곧 일어날 것이다”라고 말했다.  


영어 못해도 괜찮아…ChatGPT와 함께라면

ChatGPT는 영어에만 국한하지 않는다. 러시아어, 표준 중국어, 한국어를 포함해 20개의 언어를 알고 있다고 알려졌고 이미 사용자들이 거의 100가지의 언어로 테스트했다. 즉, 영어 이외의 언어로 필요한 것을 설명한 뒤 영어로 이메일을 작성하라고 요청할 수 있다.
 
러시아에서는 ChatGPT 사용이 차단되어 있지만, 프록시 및 VPN 서비스를 통해 ChatGPT에 도달하는 방법이나 위치를 확인하기 위해 해외 전화번호에 접근하는 방법에 대한 논의가 러시아어로 많이 이루어지고 있다. 예컨대 한 사용자는 오픈AI 친화적인 전화번호를 50센트보다 저렴한 32루블에 문자 메시지로 받을 수 있는 온라인 서비스를 사용하는 방법을 시연했다. 

또한 오픈AI가 지역 차단 기능을 개선할 경우에 대비하는 방법에 대한 토론 역시 러시아어로 진행되고 있다. 러시아어를 쓰는 한 논평가는 “우리는 자체적인 시설 혹은 구글 코랩(Colab)에서 출시될 수 있는 오픈소스 아날로그를 기다리고 있다. 지금까지 모든 오픈AI 기술에 대해 이런 아날로그가 1년도 안 되어 상당히 신속하게 등장했다. 따라서 내년에는 차단이나 검열에 대해 걱정하지 않고 직접 실행할 수 있는 GPT네오챗(GPTNeoChat)이 나올 가능성이 높다”라고 언급했다(러시아어로 된 말을 필자가 번역했다). 

예를 들어, 오픈AI의 DALL-E 2 이미지 생성기는 지난 7월 대기자 명단을 통해 대중에 공개됐고 9월에는 완전히 공개됐다. 한편, 스태빌리티 AI(Stability AI)는 8월에 무료 오픈소스 대안인 스테이블 디퓨전(Stable Diffusion)을 출시했다. 

12월 말에 자체 챗봇을 출시해 ChatGPT와 동일한 기능을 대부분 제공하는 유닷컴은 지역 차단 기능이 없다. 장문의 콘텐츠를 생성할 수 있는 유료 대안인 챗소닉(ChatSonic)도 있다. 지역에 따라 ChatGPT는 시작하는 데 몇 초에서 몇 분 정도 걸릴 수 있지만, 유닷컴 챗봇은 링크를 클릭하기만 하면 되고 등록이 필요하지 않다. 

체크포인트 리서치(Check Point Research)의 연구 보고서는 오픈AI의 ChatGPT의 제한 조치를 우회하려는 사이버 범죄자들의 시도에 대해 더욱 우려스러운 데이터를 발견했다. 연구팀은 ChatGPT의 지역 차단을 우회하는 것이 그리 어렵지 않을 뿐 아니라 일상적인 범죄 운영에 ChatGPT를 테스트한 것으로 보이는 여러 활동을 발견했다. 


AI 챗봇 악용한 공격, 어떻게 대비할 것인가

AI가 작성한 콘텐츠를 탐지한다고 주장하는 여러 도구는 ChatGPT 가 작성한 텍스트를 부분적으로만 탐지했다. 샤이케비치는 일반 사용자가 자신의 커뮤니케이션을 개선하기 위해 ChatGPT 및 이와 유사한 도구를 사용하기 시작한다면, 특히 오피스 및 이메일 클라이언트에 이런 기능이 내장되어 있다면 AI 생성 텍스트를 탐지하는 데 기울이는 노력은 무의미하다고 강조했다.

최근 ChatGPT의 초기 버전인 GPT-3와 해커에 대한 연구 보고서를 발표한 위드시큐어(WithSecure) 연구원 앤디 파텔은 “일반적으로 ChatGPT 및 대형 언어 모델은 악성 콘텐츠보다 양성 콘텐츠에 훨씬 더 많이 사용될 것이다. 따라서 AI가 작성했다고 해서 그것이 악성이라고 추론할 수는 없다”라고 지적했다. 

마찬가지로 피싱 방지 훈련은 단순히 잘못 작성된 이메일을 찾는 것 혹은 AI 시대에 사람이 작성했다고 하기에는 너무 완벽해 보이는 이메일을 찾는 것 이상이어야 한다. 파텔은 “작성 주체가 AI인지 아닌지는 결국 중요하지 않을 것이다. ‘무엇이’ 작성했느냐가 아니라 ‘무엇을’ 작성한 것인지 이해할 필요가 있다”라고 설명했다. 

피싱 이메일인지 확인할 때는 URL에 마우스 커서를 올려 합법적인 사이트인지 확인하는 작업이 포함돼야 한다. DHL 이메일을 예로 들면, 위협 행위자는 DHL 이메일의 텍스트 및 형식을 정확하게 복사해 합법적인 링크를 악의적인 링크로 대체했을 것이다. 따라서 사용자와 기업 역시 더 발전된 사칭 공격에 대비하기 시작해야 한다.
 
파텔은 “해커는 어떤 사람으로부터 이메일을 받은 사람의 계정을 해킹해 보낸 이의 내부 이메일을 파악할 수 있다. 그런 다음 그 사람의 작성 스타일을 스푸핑해 사칭 공격을 할 수 있다”라고 언급했다. 또한 국가차원의 위협 행위자는 AI를 사용해 실제처럼 보이지만 완전히 가짜인 유출 문서를 생성해 유출 문서 덤프에 포함하는 방식을 사용할 수 있다. 파텔은 이런 경우 오류를 증명하는 것이 거의 불가능하다고 이야기한다. 

회사의 명성을 공격하는 활동에는 가짜 뉴스 기사, 보도자료, 고객 리뷰, 블로그 게시물 등이 포함될 수 있다. 이런 공격은 이미 존재하지만, 고품질 텍스트를 만드는 데 시간과 비용이 상당히 든다. ChatGPT를 통해 공격자는 각기 다른 스타일의 다양한 커뮤니케이션으로 원하는 모든 이야기를 만들 수 있다. 파텔은 “ChatGPT로 인해 매우 많은 흥미로운 공격이 나타날 것”이라고 지적했다.  

IT 컨설팅 업체 에이릿(AArete)의 기술 실무 책임자인 존 케리는 “ChatGPT와 같은 도구가 가져올 수 있는 기능과 비즈니스 연속성을 위해 해야 하는 것 사이의 경쟁”이라고 말했다. 

캐리는 실제 피싱 메일과 구별할 수 없게 되는 것은 개별 피싱 메일뿐 아니라 전체 웹사이트라고 강조했다. “모방 사이트의 정확도는 훨씬 더 높아질 것이다. 피싱, 특히 스피어피싱(spearphishing)에 더 많은 사람을 끌어들일 수 있을 것”이라고 덧붙였다.

스푸핑 된 웹사이트는 방문자의 자격증명 정보를 수집하거나 잘못된 정보를 퍼뜨리고 스푸핑된 신원에 대한 지원을 제공하는 데 악용될 수 있다. 케리는 “새로운 도구 중 일부가 훨씬 정교한 캠페인을 만드는 데 사용되는 것을 목도하고 있다”라고 언급했다.


AI 시대를 위한 안티피싱 전략

전문가들은 기업이 AI가 작성한 이메일에 대비하기 위해 피싱 방지 교육을 검토하거나 강화하고 기술적 보안 대책을 강화할 것을 권고한다. 여기에는 다음 사항이 포함된다. 
 

  • 기업 네트워크에 대한 접근을 막는 워드 문서 및 기타 첨부 파일을 위한 샌드박싱(Sandboxing)
  • 온프레미스 및 원격 사용자를 모두 보호하기 위한 보안 웹 게이트웨이를 통한 웹 트래픽 검사
  • 이메일 게이트웨이 보호
  • URL에서 악의적인 내용 혹은 타이포스쿼팅(typosquatting) 확인
  • 도메인 스푸핑 및 콘텐츠 변조 방지에 도움이 되는 DMARC, DKIM, SPF와 같은 이메일 보안 프로토콜 배포
  • 의심스러운 이메일을 쉽게 보고할 수 있는 방법 제공


보안 업체 포티넷의 포티가드 랩(FortiGuard Labs) 소속 사이버 보안 연구원 아미르 라카니는 피싱뿐 아니라 다른 AI 기반 위협에서 기업을 보호하기 위해 계층화된 보안 접근 방식이 여전히 최선이라고 설명한다. 이어 “2023년이 지나더라도 AI의 무기화가 오래 지속될 것으로 예상한다”라고 덧붙였다.
editor@itworld.co.kr

 Tags ChatGPT

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.