AIㆍML / 글로벌 트렌드

글로벌 칼럼 | 생성형 AI 파트너를 선택하는 방법 “신뢰하되 검증하라”

Evan Schuman | Computerworld 2023.12.21
생성형 AI의 가능성에 매료된 기업 경영진은 종종 IT팀에 이 기술을 어떻게 구현할지 알아내라고 무작정 요구하는 경우가 많다.
 
ⓒ Getty Images Bank

생성형 AI가 만드는 모든 문장을 일일이 확인해야 하는, 기대했던 효율성 개선이 이뤄지지 않는 이유인 환각(hallucination)을 비롯한 기타 문제점은 접어두자. 거의 탐지가 불가능한 데이터 유출에 대한 걱정도 일단 제쳐두자. 고위 경영진의 의사결정은 언제나 논리와 상식에 입각하지는 않는다. 즉, IT팀은 “생성형 AI를 도입해야 하는가? 도움이 되는가?”라는 근본적인 질문 없이 “하라는 명령을 받았다. 그렇다면 가장 비용 효율적이고 안전한 방법은 무엇인가?”라는 질문을 하게 될 것이라는 의미다. 

필자는 AWS CEO 애덤 셀립스키의 연합통신사 인터뷰에 매우 흥미를 느꼈다. 특히 “대다수 기업은 모델을 구축하지 않고 다른 기업이 구축해 놓은 모델을 사용하려고 한다. 한 기업이 세상의 모든 모델을 공급하게 되는 이런 개념은 현실적이지 않다고 생각한다. 기업도 실험해야 하고 AWS는 그런 실험을 가능하게 하는 서비스를 제공해야 함을 알았다”라는 발언이 크게 와닿았다. 

셀립스키의 발언은 아주 타당한 주장이다. 하지만 과연 그래야 할까? 선택은 구입하느냐, 구축하느냐만의 문제가 아니다. 기업이 꼭 자체 모델을 만들어서 관리해야만 하는가? AWS, 마이크로소프트, 구글 같은 거물에 의존하는 게 나을까? 아니면 생성형 AI 시장에 널린 작은 전문 업체 중 한 곳을 선택해야 할까? 물론 기업의 특정한 요구와 목적에 따라 3가지를 조합해도 된다(아마 그렇게 해야만 할 것이다). 

실행 계획에서 상세하게 고려할 점이 수천 가지는 되지만, 기본적인 대기업 IT팀이 생성형 AI 도입과 배포를 두고 갖는 질문은 단순하다. 바로 신뢰다. 

생성형 AI를 사용하겠다는 결정은 클라우드 의사결정과 매우 비슷하다. 두 사례에서 기업은 가장 중요한 민감 데이터를 서드파티에 넘겨주어야 한다. 그리고 서드파티는 가시성과 제어권을 최대한 적게 제공하려고 노력한다. 클라우드에서 기업 테넌트는 데이터에 직접적으로 영향을 미치는 구성 변경이나 기타 설정에 대해 듣는 정보가 거의 없다. 클라우드 서비스 제공업체가 기업 테넌트에 설정 변경에 앞서 허락을 구하는 경우는 꿈도 꿀 수 없다. 

생성형 AI에서도 마찬가지다. 회사의 데이터가 어떻게 안전하게 보관되는가? 생성형 AI의 답변은 어떻게 보호되는가? 우리 회사의 데이터가 다른 경쟁사가 사용하는 모델을 훈련시키는가? 그렇지 않다면, 모델이 정확히 어떤 데이터로 훈련되고 있는지 어떻게 알 수 있는가? 

실질적인 측면에서 이런 질문은 계약서로 처리, 또는 회피될 것이며, 문제는 다시 유명한 거대 서드파티 업체와 일할지, 작고 잘 알려지지 않은 업체와 일할지 결정하는 것으로 되돌아간다.

작은 업체일수록 계약서 조항을 열린 자세로 받아들일 가능성은 크다. 생성형 AI 도입 전략을 고민할 때는 이런 역학 관계를 기억해야 한다. 큰 업체일수록 많은 양의 정보를 더 쉽게 얻고자 할 것이다. 신뢰가 특히 중요해지는 순간은 계약서를 작성할 때다. 기업의 법무 자문위원, CISO, 법규준수 책임자에게 충분한 가시성과 제어권을 제공하는 조항을 계약 서류에 넣기는 어려울 것이다. 

신뢰보다 중요한 것이 바로 검증이다. 서드파티 생성형 AI 업체가 약속대로 작업을 수행하고 있는지 운영을 감사할 수 있는 수단은 무엇일까? 서드파티 업체가 기업이 원하는 것을 다 들어준다고 해도 그러한 조항을 어떻게 검증할 것인지 생각해 봐야 한다.

서드파티 업체가 회사의 데이터를 자체 알고리즘 훈련에 쓰지 않겠다고 약속한다고 해도, 약속을 이행한다는 것을 도대체 어떻게 확인할 수 있을까? 바로 이런 이유에서 기업은 작은 업체를 인수해 생성형 AI 모델을 직접 구축하려는 작업을 쉽게 포기하면 안 된다(직원의 신뢰 문제까지는 파고 들어가지 말자. 일단은 직원을 신뢰한다고 가정한다).

아카마이 CISO 스티브 윈터필드는 포괄적 AI(머신러닝 포함)와 LLM, 생성형 AI가 근본적으로 다르다고 설명한다. 

윈터필드는 “아카마이 직원이 포괄적 AI에 접근하는 것에 대해서는 걱정한 적 없지만, 지금 논의하는 것은 퍼블릭 AI, 학습 데이터베이스의 일부를 가져와서 다른 곳에서 꺼내는 기술이다. 어떤 일이 벌어지는지 감사할 수 있을까? 영업팀의 한 직원이 아직 공개되지 않은 신제품에 대한 이메일을 쓰면서 생성형 AI에 도움을 요청한다고 해 보자. 이때의 위험은 아직 발표하지 않은 신제품 정보를 노출한다는 것”이라고 설명했다. 

윈터필드도 소규모 생성형 AI 기업과 타협하는 것 자체는 나쁘지 않지만, 해당 기업을 경쟁사가 인수하거나 시장에서 밀려나는 등의 미래를 우려하며 “그 회사가 2년 후에도 존재할 수 있을까?”라고 반문했다. 

또 다른 핵심 우려는 사이버보안이다. 서드파티가 회사의 데이터를 얼마나 잘 보호할까? CISO가 생성형 AI로 보안을 처리하겠다고 결정한 경우, 얼마나 잘 작동할까? 글로벌 컨설팅 기업 위프로(Wipro) 전략 총괄 조시 조지는 “SOC(Security Operations Center)는 AI 시스템에 대한 적대적 공격의 가시성 부족으로 완전히 눈이 멀어버릴 것”이라고 경고했다.

조지는 “오늘날 SOC는 방화벽, 서버, 라우터, 엔드포인트, 게이트웨이 등 이벤트/로그 소스로 기능하는 여러 종류의 IT 인프라에서 데이터를 수집하고, 그 데이터를 보안 분석 플랫폼에 쏟아붓는다. 기존 AI와 생성형 AI를 포함한 새로운 애플리케이션은 시스템에 대한 적대적 고급 공격을 일반 입력과 구분하지 못해 평소대로의 비즈니스 로그를 생성할 것”이라고 설명했다. 즉, 이런 시스템에서 이벤트 로그로 수집되는 데이터는 기업이 당면한 또는 진행 중인 공격을 가려내지 못한다. 

AI 업체 인센스(Ensense) CTO 마이클 크라우스도 “지금은 AI 업체와 협력하기에는 위험한 시기다. 많은 AI 업체가 AI라는 물결을 타며 만들어졌는데, 사실과 허구를 구분하기는 쉽지 않다. 이런 상황은 산업이 성숙해지고 사실을 왜곡하는 업체가 줄어들면서 바뀌겠지만, 지금은 법규 준수 여부를 증명하기가 사실상 불가능한 업체와 제품이 많다”라고 지적했다.

크라우스는 생성형 AI 프로젝트 협력업체를 찾는 CISO에게 다음과 같이 요구할 것을 제안했다. 
 

공유 모델을 훈련하거나 미세조정하는 데 내부 데이터를 사용하지 않도록 요구하라. 저장되고 기억되는 데이터가 없어야 한다. 데이터 공유를 금지하고 기업이 액세스를 통제하는 등의 특수한 용도에 필요한 별도 환경을 요구하라. 요청하거나 결론을 낼 때 모든 데이터와 환경을 종료하고 삭제할 것을 요구하라. 계약 체결에 앞서 또는 직후에 데이터 보안 감사에 동의하라. 


최근 오픈AI는 약관 업데이트로 많은 비난을 받았다. 새로운 약관은 기업 이메일 주소를 사용할 경우 해당 계정이 자동으로 “오픈AI의 기업 비즈니스 계정에 추가될 수 있다”라는 내용이었다. 이런 경우 “기업 관리자는 콘텐츠 액세스를 포함해 사용자의 계정을 제어할 수 있다.” 따라서 사용자는 무료 개인 계정을 만들거나, 아니면 챗GPT에게 “이력서를 써 줘” 또는 “상사의 이메일 계정을 들여다보려면 어떻게 해야 하지?” 같은 질문을 하지 말아야 한다. 

새 버전에서 사용자는 오픈AI가 자신의 데이터로 알고리즘을 훈련하지 않도록 선택할 수 있다. 그러나 오픈AI는 만만한 상대가 아니다. 데이터 활용을 거부하도록 선택하기까지 넘어야 할 허들이 많다. 처음에는 시작할 페이지를 알려주지만, 해당 페이지에서 바로 원하는 선택을 할 수 없다. 현재 작동하지 않는 다른 페이지로 이동하도록 제안한 후 그곳에서 또 다른 URL을 안내한다. 세 번째 페이지로 이동한 후에야 오른쪽 상단에 개인정보 보호를 요청하는 버튼이 있다. 버튼을 누르면 오픈AI는 “이메일 주소로 사용자 신원을 확인한 후 요청을 고려해보겠다”라고 답한다. 

사실상 옵트아웃(opt-out)을 막으려는 의도라고 보기에 충분하다.
editor@itworld.co.kr
 Tags AI 생성형AI
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.