"너무 모호해서 더 까다로운" LLM의 허점 5가지

LLM(대규모 언어 모델)은 무수히 많은 회사 업무를 처리할 수 있다는 장밋빛 전망을 제시하지만, IT 경영진은 LLM이 아주 작은 자극에도 가드레일과 기타 제한을 무시하는, 극히 연약한 기술이라는 사실을 깨닫고 있다.
 
예를 들어 최종 사용자가 실수로(또는 공격자가 악의적으로) LLM 쿼리 창에 너무 많은 데이터를 입력하는 경우 오류 메시지가 반환되지 않고, 시스템이 충돌하는 듯한 모습도 보이지 않는다. 그러나 LLM은 그 즉시 프로그램된 사항을 무시하고 모든 가드레일을 무력화하는 경우가 많다.
 
해커원(HackerOne)의 선임 솔루션 설계자인 데인 셔레츠는 "LLM과 관련된 가장 큰 위협은 쉬운 오버플로우다. LLM에 너무 많은 정보를 제공하면 오버플로우가 발생해서 시스템 프롬프트, 학습한 내용, 미세 조정한 내용을 모두 잊는다”라고 말했다. (AI 연구 스타트업으로 클로드(Claude) LLM 제품군을 만든 앤트로픽(Anthropic)은 보안 허점을 자세히 다룬 글을 올렸다.)
 

아직 보고되지 않은 재무 정보에 대한 접근을 엄격하게 제한해야 하는 상장 회사, 또는 특정 권한이 있는 사람만 무기 설계도 접근을 허용하는 군 계약업체의 경우를 생각해 보자. LLM이 오버로드되어 이러한 제한을 무시한다면 심각한 결과를 초래할 수 있다.

이런 사례는 LLM 가드레일이 실패하는 여러 양상 중 일부일 뿐이다. LLM 시스템은 일반적으로 클라우드를 기반으로 하며, 특정 LLM 알고리즘에 대한 라이선스를 소유한 업체가 통제한다. 소수의 기업(예를 들어 정부에 납품하는 방산업체)은 에어갭으로 분리된 온프레미스 환경에서만 LLM 코드를 실행하지만 드물고 예외적인 경우다.
 
IT 관리자는 그동안 LLM을 구축하면서 그 외에도 시스템과 데이터를 위험에 노출시키거나 유용한 결과를 방해하는 모호하면서 심각한 여러 결함을 발견했다. 너무 늦기 전에 꼭 해결해야 할 LLM 문제 5가지를 살펴보자.
 

너무 많은 정보를 볼 수 있는 LLM

현재 LLM 시스템의 큰 결함은(마이크로소프트는 3월 6일 코파일럿 LLM과 함께 사용할 새로운 셰어포인트 기능을 소개하면서 문제를 인정함) 공유 대상이 아닌 방대한 셰어포인트 파일에 액세스할 수 있다는 점이다.
 
한 포춘 500대 보험 회사의 IT 거버넌스 관리자인 닉 뮬렌은 "사용자에 대한 액세스를 활성화하면 코파일럿은 사용자가 가진 액세스 권한을 복제한다. 그러면 사용자가 알든 모르든 이들이 액세스할 수 있는 모든 대상에 코파일럿도 액세스할 수 있게 된다”라고 말했다.
 
보안업체 생귄 시큐리티(Sanguine Security)를 운영하는 뮬렌은 "셰어포인트 리포지토리는 백그라운드에서 실행되지만 생태계 전체에서 공개된 모든 곳에 접근할 수 있다. 이러한 사이트 중 상당수가 기본적으로 공개 사이트"라고 말했다. 
 
공개 프리뷰로 제공되는 이 새로운 기능은 제한된 셰어포인트 검색(Restricted SharePoint Search)이라고 한다. 마이크로소프트는 이 기능이 "조직 전체 검색과 코파일럿 경험을 직접 선택한 일부 셰어포인트 사이트 모음으로 제한하게 해준다”라고 설명했다.
 
현재의 기본 옵션은 공개 액세스용이다. 마이크로소프트 지원 문서에 따르면 "조직이 제한된 셰어포인트 검색을 사용하기 전에 알렉스(가상의 사용자)는 자신의 원드라이브 파일, 채팅, 이메일, 소유하거나 방문했던 콘텐츠와 같은 개인용 콘텐츠뿐만 아니라 액세스 권한 검토 또는 액세스 제어 목록(ACL) 검사를 거치지 않았고, 데이터 거버넌스가 적용되지 않은 일부 사이트의 콘텐츠도 볼 수 있다”라고 한다. 알렉스는 민감한 정보에 대한 액세스 권한이 있으므로(본인이 그 사실을 모르고 있다 해도) 코파일럿도 마찬가지 권한을 갖는다.
 
모든 기업 데이터 스토리지 환경에 동일한 문제가 적용된다. IT 부서는 사용자의 데이터 액세스 권한을 철저히 감사하고 LLM을 사용한 쿼리를 허용하기 전에 민감한 데이터를 봉쇄해야 한다.
 

왕국으로 들어가는 열쇠를 지닌 LLM

현재 LLM이 가진 문제의 일부는 많은 경우 LLM에 폭넓은, 심지어 모든 기업 시스템에 대한 무제한 액세스 권한이 부여된다는 점이다. 뮬렌은 더욱 심각한 점은 현재 기업 방어 시스템의 대부분이 LLM을 탐지하지 않고 따라서 LLM이 정상 궤도를 벗어난다 해도 차단하지 않는다는 점이라고 지적했다.
 
뮬렌은 "기업에는 모든 곳을 검색할 수 있는 가장 강력하고 직관적인 검색 엔진이 있는 것"이라면서 "예전에는 이 같은 유형의 내부 스캔이라면 경보가 발령됐을 것이다. 그러나 LLM은 다르다. 완전히 새로운 위협 벡터이며 탐지하기가 극히 어렵다. 예상대로 동작하므로 EDR(엔드포인트 탐지 및 대응)에도 문제로 탐지되지 않는다. 현재 이를 보호할 효과적인 방법이 없다. 침해된 상대에 따라 공격자는 그야말로 보물 창고에 대한 액세스 권한도 획득할 수 있다”라고 말했다.
 
뮬렌은 "LLM은 종잡을 수 없고 사람들은 성급하다. 워낙 새로운 기술이라서 많은 위험이 아직 알려지지 않았다. 보기 전까지는 알 수 없는 시나리오이며, 이른바 의도하지 않은 결과의 법칙이다. IT 부서는 LLM을 가동하고 막대한 리소스에 대한 액세스 권한을 부여하고 있다. 모든 조직은 이 같은 행태를 멈춰야 한다”라고 덧붙였다.
 
AI 문제를 중점적으로 다루는 비영리 연구소인 폴리에이전트(PolyAgent)의 창립자 아터 큘리안은 많은 기업이 적절한 통제 수단을 마련하기 전에 너무 서둘러 LLM을 채택하고 있다고 지적했다.
 
큘리안은 "LLM을 구현하는 대부분의 기업은 실험 단계에 있다. 대부분이 프롬프트 엔지니어링 가드레일을 사용하지만 이것으로는 충분하지 않다. 권한 기반 제어가 필요하다. 대부분의 기업은 아직 그 단계에 이르지 못했다”라고 말했다.
 
해커원의 셔레츠는 LLM이 현재 얼마나 위험한지에 대해 동의하며 "다른 애플리케이션과 상호작용할 수 있다. 내부 인프라에서 수행하는 작업에 대해 블랙박스 통제 권한을 부여한다고 생각하면 무서운 일이다. LLM이 어떤 유틸리티를 조작하는가?"라는 질문을 던졌다.
 
제네러티브AI(GenerativeAI) 이니셔티브를 이끄는 EY 아메리카 테크놀로지 컨설팅(EY Americas Technology Consulting) 대표 데이비드 과레라 역시 초기 기업 LLM 배포에서 발생하는 위험에 대해 우려를 표하며 "가드레일을 돌아가도록 LLM을 속일 수 있는 새로운 공격이 많이 발생하고 있다. 무작위 문자열로 LLM이 혼란에 빠지도록 할 수 있다. 조직은 이러한 위험을 인지해야 한다”라고 말했다.
 
과레라는 급여, 공급망과 같은 민감한 시스템을 위한 격리된 독립적인 보호 수단을 만들어야 한다면서 "IT 부서에는 LLM 액세스 바깥에서 처리되는 권한이 필요하다. 이러한 시스템에 대한 액세스를 어떻게 설계할지를 깊이 고민해야 한다. 이 작업은 LLM에 보이지 않는 데이터 계층에서 해야 한다. 견고한 인증 계층을 고안해야 한다”라고 말했다.
 

문자 그대로만 해석하는 LLM

또 다른 우려 사항은 규칙을 관리하도록 LLM을 프로그래밍하는 것이다. 시스템이 일부 데이터를 제한해서 회사에서 특정 역할을 가진 사람 또는 특정 부서에서 일하는 사람과만 이 데이터를 공유하도록 한다는 개념이다. 
 
이 개념은 일각에서 지적하는 '공무원적 사고방식' 문제로 이어진다. 즉, 규칙에 대해 교육을 받고 규칙을 외우기도 하지만 규칙이 애초에 만들어진 이유에 대해서는 교육을 받지 않는 상황이다. 이유에 대한 배경 지식이 없으면 예외로 분류해야 할 상황에 대해 정보에 근거한 의사 결정을 내릴 수 없고, 따라서 규칙을 너무 엄격하게 문자 그대로 해석하는 경향이 있다.
 
LLM도 마찬가지다. 민감한 기업 데이터는 대부분 이분법적으로 분류되지 않는다.
 
앞서 언급한 상장 회사의 재무 정보 사례를 보자. 이번 분기의 발표되지 않은 재무 관련 데이터에 대한 액세스는 소수의 승인된 사람으로 제한해야 한다. 그러나 LLM은 데이터가 발표되고 SEC에 보고되는 즉시 모두가 읽을 수 있는 데이터임을 알도록 프로그래밍되었을까? 보고된 데이터만 공개 데이터이고, 보고되지 않은 데이터는 여전히 비공개라는 것을 알도록 프로그래밍되었을까?
 
연관된 문제도 있다. 예를 들어 서류 제출을 준비하느라 재무 부서가 바쁜 상황에서 CFO가 다양한 회사 사업부 소속의 직원 30명을 추가로 작업에 투입할 수 있도록 허가를 요청했고, 그 요청이 승인되었다고 가정해 보자. 누군가가 이 30명의 임시 지원 인력에게 임시 데이터 액세스 권한을 부여하도록 LLM을 다시 프로그램해야 한다는 생각을 할까? 또한 이들이 원래의 업무로 복귀할 때 누군가가 이들의 액세스 권한을 삭제해야 한다는 것을 기억할까?
 

결함 있어도 눈에 안 띄어

좀 더 실용적인 측면의 우려도 있다. 경험이 많은 IT 관리자는 오랜 기간 동안 온갖 종류의 소프트웨어를 다뤄봤다. 이들은 속도가 저하되거나 멈추거나 오류 메시지가 표시되거나 알 수 없는 문자가 화면에 출력되는 등 시스템 충돌이 발생할 때 나타나는 증상을 경험적으로 알고 있다. 그러나 LLM 결함(시스템 충돌의 LLM 버전을 일컫는 용어)은 기존과는 다른 방식으로 작용한다.
 
허브스팟(HubSpot)의 인공지능 책임자인 케빈 월시는 "기존 소프트웨어는 잘못되면 겉으로 명확하게 드러난다. 화면이 로드되지 않고 오류 메시지가 쏟아진다. LLM 소프트웨어는 잘못되는 경우가 훨씬 더 불투명하다. 눈에 띄는 오류 없이 모델이 예측을 제대로 못할 뿐이다. LLM을 실제 환경에 구축하고 몇 주, 또는 몇 개월이 지난 다음에야 LLM이 해결해야 할 문제를 제대로 해결하지 못하고 있다는 기업의 소감을 듣게 된다”라고 말했다.
 
중대한 사안이다. 문제가 있다는 사실을 IT 부서가 신속하게 인지하지 못할 경우 문제를 수정하고 시스템 동작 범위를 제한하기 위한 작업이 지연되어 피해를 막기에는 너무 늦어질 수 있기 때문이다.
 
LLM은 기존 소프트웨어와 다르게, 훨씬 더 드러나지 않는 방식으로 잘못되므로 IT 부서는 훨씬 더 많은 추적, 테스트, 모니터링을 구축해야 한다. 매일 아침 LLM을 테스트하는 것이 누군가의 정해진 업무가 될 수도 있다.
 

비현실적인 기대

포레스터의 섹옵스 및 AI 보안 툴 부문 수석 애널리스트 앨리 멜렌은 사람의 생각을 상당히 그럴듯하게 흉내내는 LLM의 역량으로 인해 LLM에 대한 잘못된 인식이 생겼다고 지적했다.
 
멜렌은 "LLM은 사람과 비슷하게 보이고, 이로 인해 생성형 AI에 대한 잘못된 인식을 갖게 됐다. LLM은 스스로 생각하지 못하며 단순히 다음 단어를 예측할 뿐이다. LLM이 코드를 쓸 수 있다는 기대는 지나치게 부풀려진 것"이라고 말했다.
 
멜렌은 LLM을 매우 신중하게 다뤄야 한다면서 "가드레일을 피해가는 방법은 많다. 약간 다른 프롬프트를 입력하는 것만으로 프로그램된 제한을 회피할 수 있다”라고 말했다.
 
멜렌은 "IT 부서는 현실적인 사용 사례에서 현실적으로 구현할 수 있는 부분에 집중해야 한다. 모든 문제를 LLM으로 해결하면 된다는 생각으로 LLM을 다루면 안 된다. 투자자와 경영진을 불문하고 비즈니스 세계 대부분에서 LLM 기능이 과대평가되고 있다”라고 말했다.
editor@itworld.co.kr