“깃허브 생성형 AI 프로젝트, 인기 많을수록 보안 미성숙” 레질리온 보고서

깃허브에서 가장 있기 있는 50가지 생성형 AI 오픈소스 프로젝트를 조사한 결과, 프로젝트가 더 대중적이고 최신일수록 보안이 성숙하지 않은 것으로 나타났다.
 

소프트웨어 공급망 보안 업체 레질리온(Rezilion)이 오픈SSF(Open Source Security Foundation, OpenSSF)의 스코어카드(Scorecard)를 사용해 LLM(Large Language Model) 오픈소스 생태계를 평가한 결과, 많은 LLM 기반 프로젝트에서 보안 베스트 프랙티스와 잠재적 위험에 상당한 격차가 있음을 확인했다. 이 같은 연구 결과는 ‘위험을 설명하다 : LLM 오픈소스 보안 환경 연구(Expl[AI]ning the Risk: Exploring the Large Language Models Open-Source Security Landscape)’ 보고서에 게재됐다. 

기계가 텍스트, 이미지, 코드를 인간의 작업물처럼 생성할 수 있는 능력을 갖추게 되면서 LLM을 기반으로 한 생성형 AI 기술의 인기가 폭발적으로 증가하고 있다. 이런 기술을 통합하는 오픈소스 프로젝트의 수 역시 많아졌다. 예를 들어, 오픈AI가 챗GPT를 출시한 지 7개월밖에 되지 않았음에도 불구하고 현재 깃허브에는 GPT-3.5 LLM 제품군을 사용하는 오픈소스 프로젝트가 3만 개 이상에 달한다.

하지만 생성형 AI/LLM 기술은 민감한 비즈니스 정보를 고급 자가 학습 알고리즘과 공유하는 위험부터 사이버 공격을 강화하기 위해 기술을 악용하는 위협 행위자까지 여러 보안 문제를 일으킨다. 이달 초 국제 웹 보안 분야 비영리 재단 OWASP(Open Worldwide Application Security Project)는 LLM 애플리케이션에서 자주 발견되는 주요 취약점 10가지를 발표하면서 잠재적인 영향력, 악용의 용이성, 만연함을 강조했다. 프롬프트 주입, 데이터 유출, 부적절한 샌드박싱 등이 대표적인 취약점이다.

오픈SSF 스코어카드란?

오픈SSF 스코어카드는 오픈소스 프로젝트의 보안을 평가하고 개선하는 데 도움을 주기 위해 오픈SSF에서 만든 도구다. 평가의 기준이 되는 메트릭은 리포지토리의 취약점 수, 유지 관리 빈도, 바이너리 파일 포함 여부 등이다. 프로젝트에서 스코어보드를 실행하면 소스코드, 빌드 종속성, 테스트 및 프로젝트 유지 관리를 포함해 소프트웨어 공급망의 다양한 부분을 확인할 수 있다. 

스코어카드를 사용하는 목적은 보안 베스트 프랙티스 및 업계 표준을 준수하는지 확인하기 위함이다. 특정 베스트 프랙티스를 준수하지 않는 것과 관련해 예상되는 위험 수준을 항목별로 보여준다. 그런 다음 개별 점검 점수를 하나의 종합 점수로 합산해 프로젝트의 전반적인 보안 상태를 측정한다.

현재 스코어카드로는 총체적인 보안 관행, 소스코드 위험 평가, 빌드 프로세스 위험 평가 등 3가지 주제 아래 18가지 항목을 검사할 수 있다. 스코어카드는 0~10 사이의 서수 척도와 각 점검에 대한 위험 수준 점수를 할당한다. 점수가 10에 가까울수록 프로젝트의 보안 수준이 높고 유지 관리가 잘 되고 있다는 뜻이며, 0에 가까울수록 유지 관리가 제대로 이뤄지지 않고 오픈소스 위험에 대한 취약성이 높음을 나타낸다. 

가장 인기 있는 오픈소스의 보안이 가장 취약하다

레질리온의 연구 결과 문제가 되는 추세가 발견됐다. 생성형 AI/LLM 프로젝트의 인기도가 높을수록(깃허브 스타 인기도 등급 시스템 기준) 오픈SSF 스코어카드의 보안 점수가 낮다는 점이었다. 레질리온 연구팀은 “프로젝트 인기가 보안 상태는 물론 프로젝트의 품질을 반영할 수 없다는 사실을 보여준다”라고 썼다. 
보고서에 따르면, 깃허브에서 가장 인기 있는 GPT 기반 프로젝트인 오토-GPT(Auto-GPT)는 출시 3개월이 지난 지금 13만 8,000개 이상의 스타 받았지만, 스코어카드 점수는 3.7점에 불과하다. 조사 대상인 50개 프로젝트의 평균 점수는 10점 만점에 4.6점이었다. 

더 넓은 맥락에서 연구팀은 깃허브에서 가장 인기 있는 생성형 AI 및 LLM 프로젝트의 위험도를 생성형 AI 혹은 LLM과 관련이 없는 플랫폼의 다른 인기 오픈소스 프로젝트와도 비교했다. ‘중요 프로젝트 보안을 위한 OpenSSF 작업 그룹(OpenSSF Securing Critical Projects Work Group)’에서 정의한 94개의 중요 프로젝트 그룹의 평균 점수는 6.18점이었으며, SDLC 워크플로우의 일부로 오픈SSF 스코어카드를 사용하는 7개 프로젝트 그룹의 평균 점수는 7.37점이었다.

연구팀은 “LLM을 둘러싼 오픈소스 생태계의 성숙도와 보안 상태는 아직 개선해야 할 점이 많다. 실제로 이런 시스템의 인기가 커지고 개발 및 유지 관리되는 보안 표준이 동일하게 유지되는 한 공격자의 표적이 될 수밖에 없으며, 이에 영향을 미치는 중대한 취약점은 계속 드러날 것이다”라고 지적했다.

"생성형 AI·LLM 위험, 1년 동안 계속 증가한다"

레질리온의 취약점 연구 책임자인 요탐 퍼칼은 이런 시스템의 인기와 채택이 계속 증가함에 따라 향후 12~18개월 동안 생성형 AI/LLM이 조직에 미치는 위험이 증가할 것으로 예상했다. 퍼칼은 “LLM을 둘러싼 보안 표준과 관행이 개선되지 않으면 이런 시스템에서 표적 공격이 발생하고 취약점이 발견될 가능성이 높아진다. 조직은 경계를 늦추지 말고 보안 조치의 우선순위를 정해 진화하는 위험을 완화해야 하며, 책임감 있고 안전한 LLM 기술 사용을 보장해야 한다”라고 덧붙였다. 

조직은 생성형 AI 기반 시스템을 개발할 때 설계별 보안 접근 방식을 채택해 LLM 위험에 대비할 수 있다. 또한 SAIF(Secure AI Framework), 니모 가드레일(NeMo Guardrails), MITRE ATLAS와 같은 기존 프레임워크를 활용해 AI 시스템에 보안 조치를 통합해야 한다. 

또한 퍼칼은 “LLM 상호 작용을 모니터링 및 기록하고 잠재적인 보안 및 개인정보 보호 문제를 감지하고 그에 따라 LLM을 업데이트 및 미세 조정하기 위해 LLM의 대응을 정기적으로 감사 및 검토하는 것도 필수다. LLM 위험에 대비하고 완화할 책임은 기술을 통합하는 조직과 시스템 구축 및 유지 관리에 관여하는 개발자 모두에게 있다”라고 강조했다.
editor@itworld.co.kr