AIㆍML / 보안

"생성형 AI로 만든 가짜 웹사이트 급증…SEO 적용까지 AI에 요청" 넷크래프트

Lynn Greiner | CSO 6일 전
다른 모든 사람과 마찬가지로 사이버 공격자도 생성형 AI를 비즈니스 도구로 점점 더 많이 채택하고 있다. 넷크래프트(Netcraft)의 보안 연구팀은 최근 "사기성 웹사이트의 콘텐츠 제작 도구로 사용되는 생성형 AI"의 대규모 사용례를 발견했다. 
 
ⓒ Getty Images Bank

넷크래프트는 최근 게재한 블로그 게시물에서 매주 수천 개의 웹사이트가 AI 생성형 콘텐츠를 사용하고 있으며, 이 기술의 사용이 꾸준히 증가하고 있다고 밝혔다.

사이트 수는 7월 말부터 급증하기 시작해 8월 첫째 주까지 지속되다가 감소세로 돌아섰다. 넷크래프트는 한 특정한 위협 행위자 한 명이 생성형 AI를 광범위하게 사용하여 가짜 쇼핑 사이트를 개설하고 제품 설명을 작성한 것이 짧은 기간 증가한 것에 기여했을 수 있다고 설명했다. 

또한 넷크래프트는 "3월과 8월 사이의 광범위한 활동 증가는 온라인 상점 영역에서 눈에 띄게 급증한 것으로 보인다. 사기성 웹사이트의 콘텐츠 제작 도구로 사용되는 생성형 AI가 보편적으로 확장하고 있음을 나타내며, 내년에는 사기성 온라인 콘텐츠가 기하급수적으로 증가할 수 있다"라고 말했다. 
 
2024년 3월부터 8월까지 LLM 생성 텍스트를 사용하는 관찰된 웹사이트 수의 증가세를 보여주는 그래프 ⓒ Netcraft

넷크래프트 연구팀은 "생성형 AI로 인해 수많은 악성 웹사이트가 생겨났고, 콘텐츠의 양과 설득력으로 피해자를 끌어모으고 있다"라고 지적했다. 웹사이트나 이메일이 전문적인 영어 표현으로 작성됐다는 이유만으로 합법적인 것으로 판단하는 것은 더 이상 불가능하다는 설명이다. 하지만 이메일이나 사이트에서 가짜임을 증명하는 단서가 있을 수도 있다. 

연구팀은 위협 행위자가 사기 이메일에 LLM 출력물을 실수로 포함시키는 경우가 있다고 설명했다. 예를 들면 가족사진 파일 다운로드 링크가 포함되어 있다고 주장하는 피싱 이메일에 "물론이죠! 여기 가족사진을 위한 50개의 문구가 더 있습니다."라는 문장이 포함된 사례가 있었다. 

넷크래프트는 "이메일 본문을 생성하는 데 챗GPT를 사용하는 위협 행위자가 무작위 생성기에 도입부를 실수로 포함시킨 것으로 보인다. 이 사례는 생성형 AI와 기존 공격 수법의 조합을 시사한다"라고 말했다. 

가짜 홈페이지에도 "물론이죠! 전문 영어로 번역된 내용은 다음과 같습니다."라는 LLM의 출력물이 없다면 충분히 믿을 만하다. 한 회사의 장점을 선전하는 가짜 투자 웹사이트에서도 "물론이죠"라는 표현을 제외하면 "클리브랜드 인베스트의 6가지 주요 강점은 다음과 같습니다."라는 표현은 그럴듯했다. 

넷크래프트 연구팀은 "도둑 사이에 명예는 없다. 범죄자가 다른 피싱 사이트에서 인증 정보를 기꺼이 훔치는 것처럼, 그럴듯한 LLM 생성 템플릿을 발견하면 그 내용을 거의 그대로 복제하는 것을 관찰했다"라고 말했다. 예를 들어 "클리브랜드 인베스트" 웹사이트 텍스트는 "브리타닉 파이낸스(Britannic Finance)"를 위해 만들어진 다른 가짜 텍스트를 LLM의 응답 표현을 포함해 복제됐다. 복제 이후 LLM을 사용해 일부 용어를 동의어로 수정한 것으로 보인다. 


가짜 사이트, SEO까지 적용

또한 넷크래프트는 더 많은 피해자를 끌어들이도록 SEO를 적용한 가짜 온라인 쇼핑몰과 가짜 약국 사이트를 발견했다. 이들 사이트에서는 "이 개요를 참고하면 좋은 출발점이 될 것입니다..."라는 문구와 함께 제목, 제목, 본문에 SEO 키워드를 포함하라고 안내하는 LLM의 출력물이 포함됐다. 

이 모든 것은 빙산의 일각에 불과하다. 인포테크 리서치 그룹(Info-Tech Research Group)의 수석 연구 책임자 브라이언 잭슨은 "이 보고서는 생성형 AI 기능으로 강화되고 있는 사이버 위협의 한 영역, 즉 피싱을 통해 피해자에 대한 초기 접근 권한을 확보하는 것에 대해서만 이야기한다"라고 말했다. 

잭슨은 "안타깝게도 이는 LLM로 인해 늘어난 전체 위협 중 극히 일부에 불과하다. LLM 덕분에 완전히 새로운 사이버 위협 기법의 분류법이 위협 프레임워크에 추가되고 있다"라고 덧붙였다. 


정찰에 악용되는 LLM

잠재적 피해자의 공개 자료와 잠재적 취약점을 검색하고 요약하는 등 정찰 활동에 LLM을 사용하는 경우가 있다. 잭슨은 "오픈AI는 국가가 후원하는 계정이 이런 일을 하는 것을 금지했다. 그다음에는 프롬프트 인젝션과 탈옥 등을 통해 LLM 자체를 악용하려는 시도가 있다"라고 설명하며 마이터 아틀라스(MITRE ATLAS)를 통해 전체 기법 목록을 제시했다. 

이는 넷크래프트의 연구 결과와 일치한다. 넷크래프트는 블로그에서 "더 많은 사례가 있으며, 더 교묘한 공격에 LLM이 대규모로 사용되고 있음을 보여주는 결정적인 증거가 있다. 보안 측면에서 갖는 의미는 기업이 경계를 늦추지 말아야 하며, 전문 영어로 작성된 웹사이트 텍스트는 더 이상 합법성을 나타내는 강력한 지표가 될 수 없다는 점이다. 생성형 AI로 인해 인간을 속이기 쉬워지면서 콘텐츠 차단 및 삭제와 같은 기술적 조치가 개인과 브랜드를 보호하는 데 점점 더 중요해지고 있다"라고 강조했다. 

잭슨은 "가장 우려스러운 것은 AI로 커지는 기존의 위협이 아니다. 기존 위협을 완화하는 데 도움이 되는 기술은 이미 정의했다. 생성형 AI로 인한 새로운 사이버 위협이 기업의 방심을 불러일으킬 수 있다"라고 언급했다. 

이어 "이미 살펴본 바와 같이, 대부분 사람은 경영진이 영상으로 전화를 걸면 실제로 지시를 내리는 사람이라고 믿을 수 있다고 기대한다. 생성형 AI는 한정적인 학습 데이터로도 딥페이크를 효과적으로 만들 수 있기 때문에 더 이상 그렇지 않다"라고 덧붙였다. 
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.