AIㆍML / 보안

생성형 AI를 활용할 때 놓치기 쉬운 3가지 문제

Rob Enderle | Computerworld 2023.05.22
전 세계적으로 생성형 AI에 대한 관심이 뜨겁다. 이 기술을 적극적으로 관리하고 규제하지 않으면 큰 해를 끼칠 수 있다는 우려 역시 크다. 생성형 AI가 사람의 이익에 반하는 결정을 내리고 자율적으로 일을 수행하는 것에 대한 두려움 외에 잘 알려지지 않은 문제도 많다. 
 
ⓒ Getty Images Bank

대표적인 것이 훈련 데이터 세트에 관한 문제다. 시간이 지날수록 훈련 데이터 세트는 직원이 수행하는 모든 작업을 수집한다. 직원의 생산성을 평가하고 기밀문서, 제품 생성을 추적할 수 있는 이런 데이터는 궁극적으로 기업의 디지털 트윈을 구축하는 데도 사용될 수 있다.


훈련 데이터 세트의 오용

생성형 AI를 사용하는 직원이 점점 많아지고 있으며, 생성형 AI는 직원이 하는 모든 행동을 수집할 수 있다. 기업은 이런 데이터를 직원 모니터링에 사용할 수 있지만, 직원은 사생활 침해라고 느낄 것이다. 또 훈련 데이터로 모니터링을 하는 과정에서 기업은 직원의 행동을 결과와 연계시킬 때 주의를 기울이지 않으면 잘못된 결정을 내리기 쉽다. 

예를 들어, 장시간 근무하지만 비효율적으로 일하는 직원이 상대적으로 짧은 시간을 효율적으로 일하는 직원보다 더 나은 것으로 보일 수 있다. 업무 결과가 아닌 근무 시간에만 초점을 맞춘다면 결과적으로 AI가 비효율적인 행동을 선호할 뿐 아니라 효율적인 직원을 관리 대상으로 판단하게 만든다.

생성형 AI로 직원의 업무를 올바르게 모니터링하려면 우선 직원의 허가가 필요하며, AI가 직원의 업무를 대체하는 것이 아니라 업무의 질을 높이는 데 사용될 것임을 보장하고 작업 시간이 아닌 효율성에 초점을 맞춰야 한다. 이렇게 하면 훈련 세트는 보다 효율적인 인적 도구와 디지털 트윈을 만들고 업무 생산성을 높이는 데 도움될 것이다. 

또한 회사가 AI 기반 도구를 징벌적이지 않고 도움이 되는 방향으로 사용하고 있다는 사실을 알고 있다면 직원이 기술을 수용할 가능성이 더 높다.


보안은 필수

직원의 행동을 수집해 생성되는 데이터 세트는 보안 측면에서 매우 위험할 수 있다. 고도로 독점적인 제품, 프로세스 및 내부 운영에 대한 정보를 포함할 수 있으므로 경쟁업체나 정부 및 적대적 행위자가 인사이트를 얻을 수 있다.

특히 엔지니어, 관리자 또는 경영진이 제공하는 훈련 세트에 액세스하면 의사결정 방법, 의사결정 사항, 미래 제품 및 제품에 대한 계획, 회사 내부의 문제, 회사 기밀에 대한 심층적인 정보를 얻을 수 있다. 

데이터 출처가 숨겨져 있더라도 내용의 특성과 세부 사항만으로도 누가 기여했는지, 어떤 직원이 해당 작업을 실질적으로 수행하는지를 알 수 있다. 이런 정보는 적대적인 행위자나 경쟁업체에 매우 유리할 수 있으므로 반드시 보호해야 한다. 업무 효율을 개선하는 생성형 AI 도구의 특성상 이런 정보는 퇴사한 직원이나 홈 오피스에서 사용한 손상된 계정과 함께 회사 내부망을 빠져나갈 가능성이 높다. 이런 상황을 방지하는 것은 연속성 유지에도 중요하다.


더 좋아지거나 나빠지거나

기업 전체에 걸쳐 수집된 훈련 세트에서는 운영의 효율성과 수익성을 높이기 위한 인사이트를 얻을 수 있다. 하지만 규제 기관이나 적대적인 변호사의 손에 동일한 정보가 들어간다면 불법 행위의 증거가 될 수 있다.

혹은 경쟁업체가 이런 종류의 정보에 액세스할 수 있다면 가정해 보자. 상대 기업의 디지털 트윈을 만들고 경쟁적 행동을 훨씬 효과적으로 예측하고 적극적으로 대응할 수 있다. 이런 경쟁력 노출은 전례 없는 수준이다. 경쟁업체가 이런 훈련 세트에 액세스하게 되면 사실상 회사를 폐업시킬 수 있다. 

생성형 AI는 ‘게임 체인저’가 분명하지만, 분명 위험을 수반한다. 아직 성숙하지 않은 기술이며 생성형 AI의 답이 항상 믿을 수 없다는 사실을 모두가 알고 있다. 필요하지 않은 것들을 사도록 부추기는 아바타를 만드는 데도 사용된다는 사실도 안다. 생성형 AI는 생산성 향상이라는 기회를 제공하지만, 보안상 큰 위험이 될 수도 있다. 

따라서 생성형 AI를 활용하려는 기업은 올바른 사용법을 배우고 이런 위험에 대처해야 한다.
editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.