“신뢰보다 적절한 통제” 섀도우 AI로부터 기업을 보호하는 방법

오픈AI의 챗GPT나 구글 바드 같은 무료 생성형 AI 도구를 업무에 사용하고 싶은 유혹이 매우 크다. 결과물은 편집해야 하겠지만, 이메일 작성, 텍스트 편집, 목록 작성, 프레젠테이션 준비 또는 코드 생성에 있어서는 훨씬 더 빠른 솔루션이다. 

그러나 주로 개인 사용자를 대상으로 하는 이런 AI 서비스를 업무 환경에서 무단으로 사용하는 것은 여러 가지 문제를 유발한다. 
 

 

가장 위험한 데이터 유출 문제

많은 생성형 AI 플랫폼이 사용자가 전송한 데이터를 사용해 모델을 학습한다. 따라서 민감하거나 저작권이 있는 데이터, 소스 코드 등이 외부에 공개될 위험이 있다. 예를 들어, 2023년 4월 삼성은 기밀 소스 코드를 포함한 민감한 데이터가 세 차례에 걸쳐 실수로 생성형 AI 플랫폼에 전송된 후 직원들의 챗GPT 사용을 금지했다. 이후 수많은 대기업이 삼성의 사례를 따랐다.

구글 연구팀이 2023년 말 연구 보고서에서 밝힌 것처럼 몇 가지 프롬프트만으로 챗GPT가 비공개 사용자 데이터를 공개하도록 하는 것이 가능하기 때문이다. 연구팀은 챗GPT에 터무니없는 명령을 입력해 오작동을 일으켜 개인과 회사의 이름, 전화번호, 주소를 알아낼 수 있었다.

이 취약점을 처음 발견하고 설명한 보안 연구원 요한 레버거에 따르면, 오픈AI는 얼마 지나지 않아 버그를 수정했지만, 여전히 보안 허점이 존재한다. 그리고 AI 챗봇은 오픈소스(또는 도난당한) 데이터로 학습되기 때문에 챗GPT가 생성한 코드에 해커가 넣은 악성코드가 포함될 가능성도 무시할 수 없다.
 

파급 효과가 따르는 AI 환각

이제 생성형 AI가 항상 기대한 만큼의 결과를 제공하지는 않는다는 사실도 잘 알려져 있다. 예를 들어 생성형 AI는 긴 텍스트를 비교적 잘 요약할 수 있지만, 자체 콘텐츠를 생성할 때는 어려움을 겪는다. AI 도구는 환각을 일으키고 가상의 출처를 참조하는 경우가 많으며 특히 수학에 취약하다.

따라서 사용자가 생성형 AI가 생성한 장황한 설명이나 번개처럼 빠른 코드에 감탄해 결과를 확인하지 않고 그대로 받아들일 위험이 높다. 내부적으로만 사용한다면, 사용자의 평판만 손상되겠지만, 외부 커뮤니케이션에서 노골적인 오류가 발생하면 회사 전체의 이미지가 실추될 수 있다.
 

비용 대비 효과의 입증 가능성

다른 유형의 섀도도 IT와 마찬가지로 생성형 AI 도구를 전문적인 용도로 사용하는 데는 긍정적인 면이 있다. 사용자가 업무를 더 쉽고, 더 빠르고, 더 효과적으로 수행하기 위해 특정 도구가 필요하다는 것을 보여주기 때문이다.

일정한 데이터 보호 지침에 따라 생성형 AI 사용을 허용하는 경우, IT 책임자는 데이터 유출 문제에 대해서는 업무용 솔루션으로 비교적 신속하게 대응할 수 있다. 윈도우 365용 마이크로소프트 코파일럿이나 챗GPT 팀 또는 엔터프라이즈 같은 생성형 AI 도구의 라이선스를 구매하면 된다.

하지만 사용자당 월 20유로 이상의 라이선스 비용이 들기 때문에 실제 생산성 향상이나 비용 절감 효과를 입증하기 전에는 승인을 받기 쉽지 않다. 실제로 유용한 결과를 얻기 위해 필요한 관련 교육은 말할 것도 없다.
 

체계적인 접근과 교육

2024년 현재 컴퓨터를 두 대 이상 보유한 모든 기업이라면, 업무에 AI 도입을 고려하고 있을 것이다. 하지만 여기에는 기술을 어느 정도까지, 어떤 형태로, 어떤 목적으로, 그리고 예산이 부족하다면 누가 사용할 수 있는지에 대한 고려가 포함되어야 한다.

이를 바탕으로 직원(및 경영진)이 안전하고 현명하게 사용할 수 있도록 적절한 가이드라인을 정의해야 한다. 다음과 같은 핵심 요소를 정의해야 한다.
 

• 업무에 생성형 AI 모델을 사용할 권한이 있는 직원과 부서
• 생성형 AI로 자동화하거나 개선할 수 있는 업무 단계
• 이런 모델이 액세스할 수 있는 내부 애플리케이션 및 데이터와 그 방법

다음 단계는 직원들에게 안전하고 효과적으로 모델을 사용하는 방법에 대한 교육을 제공하는 것이다. 또한 생성형 AI는 매우 역동적인 시장이기 때문에 비즈니스에 적합한 플랫폼을 사용하더라도 정기적으로 정책을 검토하는 것이 좋다.
 

신뢰보다 더 좋은 적절한 통제

그럼에도 불구하고 IT 책임자는 생성형 AI의 무단 사용을 점검해야 하며, 더 중요한 것은 민감한 데이터의 유출을 방지하기 위한 조처를 하는 것이다. 다행히도 생성형 AI 플랫폼은 민감한 데이터를 보호해야 하는 인터넷상의 다른 대상과 크게 다르지 않다.

브라우저를 통해 액세스하기 때문에 기존의 섀도우 IT, 즉 무료 도구 툴은 물론, 부서장의 신용카드로 IT 부서를 우회해 이용하는 세일즈포스와 같은 SaaS 애플리케이션처럼 탐지하기가 쉽지 않다. 그러나 적절한 도구를 사용하면 이런 플랫폼에 대한 액세스를 차단하거나(URL 필터링) 이런 플랫폼에서 민감한 데이터를 업로드 및 전송하는 등의 사용자 작업을 방지할 수 있다(콘텐츠 필터링).

이런 맥락에서 데이터를 분류하는 것도 의미가 있다. 직원이 생성형 AI를 사용하는 것을 완전히 금지하고 싶지 않다면, 이 단계를 통해 특정 사용례에 적합한 데이터를 선택하고 다른 정보는 AI 시스템에서 제외할 수 있다.

이상의 조처를 통해 생성형 AI 사용의 내재적 위험을 최소화할 수 있을 뿐만 아니라 지나치게 엄격한 규칙으로 인해 회사와 직원이 기술 발전의 기회를 놓치지 않도록 보장할 수 있다. 현재의 과대광고를 넘어 생성형 AI는 이제 단기간의 트렌드가 아니라 엄청난 파괴력을 가진 기술이라는 사실은 분명해졌기 때문이다.
editor@itworld.co.kr