AI 도난 방지 기술 '데이터 포이즈닝'은 윤리적인가?

기술 기업이 학습 알고리즘에 따라 인터넷 및 기타 여러 곳의 콘텐츠를 자동으로 스크래핑하는 생성형 AI 툴이 지적재산(IP)을 훔친다고 주장하는 예술가들이 권리를 되찾도록 돕고 있다.

온라인에서 찾을 수 있는 콘텐츠의 공정한 사용을 둘러싼 논쟁은 현재 진행 중인 법정 다툼의 핵심적인 사안이다. 이 싸움은 예술 작품을 넘어, 마이크로소프트 및 그 파트너인 오픈AI와 같은 생성형 AI 기업이 소프트웨어 코드를 비롯하여 (온라인에) 게시된 기타 콘텐츠를 자사 모델에 통합할 수 있는지 여부로 확대되고 있다.
 

대학에서 컴퓨터과학을 전공한 경우가 많은 소프트웨어 엔지니어들도 이 문제에 뛰어들었다. 디지털 “워터마크”는 고유한 예술 작품 또는 기타 콘텐츠에 대한 저작권을 주장하기 위해 만들어진 옵션 중 하나다.
 
그러나 디지털 워터마킹 방법은 개발자가 네트워크 매개변수를 변경해 침입자가 콘텐츠를 자신의 것으로 주장할 수 있게 되면서 무력화됐다. 이런 우회로를 차단하기 위한 새로운 기법이 등장했지만 이 싸움은 끝나지 않고 계속 이어지는 중이다.
 
새로운 방법 중 하나는 “데이터 포이즈닝 공격”을 사용해서 생성형 AI 학습 데이터를 조작해 머신러닝 모델이 예기치 못한 행동을 하도록 유도하는 방법이다. 나이트셰이드(Nightshade)라고 하는 이 기술은 “클로킹”을 사용해서 생성형 AI 학습 알고리즘을 속여 실제 수집되는 데이터와 완전히 다른 데이터로 믿게끔 한다.
 
MIT의 테크놀로지 리뷰에 처음 보고된 나이트셰이드는 기본적으로 AI 모델이 이미지를 실제 내용과 전혀 다르게 해석하도록 한다.
 

나이트셰이드 - 생성형 AI의 악몽?

나이트셰이드는 AI 대규모 언어 모델(LLM) 학습 데이터를 손상시키는 방법으로 이미지를 생성하는 생성형 AI 툴에 타격을 입힐 수 있으며, 결과적으로 달리(DALL-E) 미드저니(Midjourney), 스테이블 디퓨전(Stable Diffusion) 같은 플랫폼이 엉뚱한 사진 또는 비디오를 출력하도록 한다. 예를 들어 AI가 자동차로 해석한 사진이 실제로는 배 사진이거나, 집이 바나나가 되고 사람이 고래가 되는 식이다.
 
나이트셰이드는 시카고 대학 컴퓨터 과학 교수인 벤 차오와 연구원들이 개발했다. 차오는 시카고 대학 샌드 랩(SAND Lab) 대학원생들과 함께 작업했는데, 이들은 올해 초 자체 IP를 마스킹해서 생성형 AI 모델이 스크래핑하지 못하도록 하는 글레이즈(Glaze)라는 무료 서비스도 출시했다. 차오에 따르면 나이트셰이드 기술은 궁극적으로 글레이즈에 통합될 예정이다.
 
가트너 부사장이자 특별 애널리스트인 아비바 리탄은 “나이트셰이드와 같은 툴은 실제로 존재한다. 해커와 범죄자들은 과거부터 이와 비슷한 툴을 사용해서 예를 들어 위성 또는 GPS 시스템을 속여 적 탐지를 피하는 등 모델 학습 데이터를 자신들에게 유리하게 오염시켜왔다”라고 말했다. 
 
“트랜스포머”라고도 하는 기반 모델은 레이블이 없는 수천, 많게는 수백만 개의 원시 데이터로 학습된 대규모 생성형 AI 모델이다. 이 모델은 구매한 데이터 집합을 포함하여 인터넷 등에서 가져온 데이터를 학습해서 답변을 생산하거나 사용자의 질의를 해결한다.
 
그렇다면 데이터 포이즈닝은 비윤리적일까?
 
기업에서 도메인별 용도의 LLM을 개발하도록 지원하는 스타트업인 스노클 AI(Snorkel AI)의 기술 책임자이자 공동 창업자인 브래든 핸콕은 나이트셰이드를 기폭제로 하여 AI 개발자의 데이터 스크래핑을 막기 위한 다른 노력도 본격적으로 추진될 수 있다고 본다. 데이터 스크래핑에 대한 많은 기술적 방어 수단은 2018년부터 사용됐지만 나이트셰이드는 핸콕이 이전에는 볼 수 없었던 새로운 종류의 기술이다.
 
핸콕은 이러한 툴의 사용이 윤리적인지 여부는 용도에 따라 달라진다고 말했다.
 
핸콕은 “비윤리적인 사용도 있다. 예를 들어 자율운전 차량이 정지 신호와 속도 제한 표지판을 인식할 수 있게 해주는 데이터를 포이즈닝한다면 비윤리적일 것이다. 반면 목표가 적극적으로 모델을 손상시키는 데 있지 않고 스크래핑을 차단하는 데 있다면 선을 넘지 않는 것이라고 생각한다”라고 말했다.
 
시장조사 업체 IDC의 부사장 겸 분석가인 리투 조티는 문제는 나이트셰이드가 무엇인지보다는 윤리적인 면에 있다면서 “사적인 데이터 또는 예술 작품이 있고, 그것을 공개하면서 무언가로 마스킹했는데 다른 사람이 허락 없이 가져간다면 문제가 될 것”이라고 말했다.
 
조티에 따르면 기업들은 데이터 레이크를 사용해서 AI 콘텐츠 생성 툴을 일상적으로 학습시키는데, 이 데이터 레이크 포함된 수천, 많게는 수백만 개의 작품 중에는 라이선스가 있는 경우도, 없는 경우도 있다. 예를 들어 이미지 라이선싱 서비스인 게티 이미지(Getty Images)는 AI 예술 툴인 스테이블 디퓨전이 자사 사진을 부적절하게 사용하여 저작권과 상표권을 모두 침해했다고 주장하며 올해 초 소송을 제기했다.
 
구글도 생성형 AI 시스템을 학습시키기 위한 구글의 데이터 스크래핑이 수백만 명의 개인정보와 재산권을 침해한다고 주장하는 집단소송에 휘말려 있다. 구글은 앞서 2015년에 도서관 책의 디지털화를 허용하는 역사적인 재판에서 승소한 바 있다. 
 

규제가 따라가지 못하는 너무 빠른 발전

조티에 따르면 각 소송에서 법률 체계에 요구하는 것은 지적재산권 하에서 전용 저작물이 무엇인지를 명확히 해달라는 것이다.
 
조티는 “이러한 소송은 관할권에 따라 다양한 형태로 나타난다. 주 또는 연방순회법원에 따라 서로 다른 해석을 내놓을 수 있다. 따라서 이러한 소송의 결과는 비평, 풍자 또는 공정한 논평이나 뉴스 보도, 교육, 수업 등의 용도에서는 저작권이 있는 작품을 소유자의 허락 없이 사용할 수 있도록 허용하는 공정 사용 원칙을 어떻게 해석하느냐에 따라 달라질 것으로 예상된다”라고 말했다.
 
핸콕은 생성형 AI 개발 기업들이 정부 규제 당국이 IP 보호에 얼마나 적극적인지 또는 얼마나 미온적인지를 지켜보고 있다면서 “많은 경우가 그렇듯이 이 부분도 유럽이 선도할 것으로 예상된다. 유럽은 미국에 비해 데이터 개인정보 보호에 조금 더 적극적인 경우가 많기 때문이다. 이후 우리도 유럽의 선례를 따르게 될 것”이라고 말했다.
 
리탄에 따르면 현재까지 생성형 AI 모델에 대한 정부의 IP 보호 노력은 좋게 평가해도 고르지 못한 수준이다.
 
리탄은 “EU AI 법은 AI 모델 생산자와 개발자가 모델을 학습시키는 데 사용한 저작권 자료를 공개해야 한다는 규칙을 제시한다. 일본에서는 AI가 생성한 예술 작품은 저작권법을 위반하지 않는 것으로 본다. 저작권에 관한 미국 연방법은 여전히 존재하지 않지만, 콘텐츠 출처 표준의 사용 또는 의무화에 대해 정부 당국과 업계 리더들 간에 논의가 진행되고 있다”라고 말했다.
 
생성형 AI를 개발하는 많은 기업들은 IP 법규를 위반하는 일이 없도록 하기 위해 무분별한 온라인 콘텐츠 스크래핑을 지양하고 콘텐츠를 구매하는 쪽으로 선회하고 있다. 이를 통해 AI 서비스를 구매하는 고객에게 콘텐츠 제작자로부터 소송을 당하는 일이 없을 것이라는 확신을 줄 수 있다.
 
조티는 “IBM, 어도비, 마이크로소프트 등 내가 확인한 모든 기술 기업은 면책 조항을 제공한다. IBM은 기업이 자사가 출시하는 모델을 사용할 경우 소송을 당하더라도 IBM이 면책 조항을 제공하므로 안심해도 된다고 발표했다”라고 말했다.
 
조티는 “현재 논란의 여지가 큰 사안”이라고 덧붙였다.
 
핸콕은 전보다 훨씬 더 많은 기업이 AI 개발자들에게 콘텐츠를 무분별하게 스크래핑하지 말 것을 명시적으로 경고하고 있다면서 “레딧, 스택 오버플로우, 트위터를 비롯한 많은 기업이 ‘허락 없이 모델에 이것을 사용하면 소송을 제기하겠다’는 의사를 더욱 명시적, 공격적으로 밝히고 있다”라고 말했다.
 
마이크로소프트는 코파일럿 사용자에게 툴에 내장된 콘텐츠 필터 및 가드레일을 사용하지 않는 경우 법적으로 보호받지 못한다는 점을 명확히 알렸다.
 
마이크로소프트 대변인은 이 조치와 관련한 논평을 거부했고 오픈AI와 IBM은 논평 요청에 응답하지 않았다.
 
가트너의 리탄에 따르면 업계는 도난당한 IP에 대한 사용자 면책과 함께, 이미지 및 기타 개체의 출처 증명을 지원하는 콘텐츠 인증 표준을 마련하기 위해 노력하고 있다.
 
예를 들어 어도비는 작품을 만든 사람, 제작 시점 및 방법과 같은 세부적인 컨텍스트 정보를 담은 메타데이터인 콘텐츠 자격 증명(Content Credentials)을 만들었다. 창작자를 보호하기 위한 또 다른 방법은 생성형 AI 출력물의 소스 콘텐츠 참조로, 다양한 AI 모델 업체 또는 칼립소 AI(Calypso AI) 및 데이터로봇(DataRobot)과 같은 써드 파티 업체가 이를 제공한다.
 
마지막으로, 프롬프트 엔지니어링, 검색 증강 생성(RAG) 또는 미세 조정과 같은 생성형 AI 학습 기법을 사용하면 모델에 사용자 조직의 검증된 비공개 데이터만 사용하도록 지시할 수 있다.
 
리탄은 “마이크로소프트 365 코파일럿은 RAG를 사용하므로 사용자에 대한 모델의 응답은 항상 기업의 비공개 데이터를 기반으로 한다. 그래서 마이크로소프트는 기업이 M365 코파일럿 규칙에 따르고 가드레일을 사용하는 한 저작권 위반에 대해 기업에 면책권을 부여하는 것”이라고 말했다.
 

맞춤 생성형 AI가 답일까?

스노클 AI는 특정 도메인 및 애플리케이션을 위해 기본 생성형 AI 모델을 맞춤 설정 및 전문화하는 데 초점을 두는 회사다. 이렇게 하면 LLM은 오픈AI의 GPT-4, 구글의 PaLM 2 또는 메타의 라마 2(Llama 2) 모델보다 훨씬 더 작은 데이터 집합을 사용한다.
 
핸콕은 “일반 학습에서 모델이 알아야 할 것을 학습시키기 위한 데이터 포인트의 수는 여전히 수십 또는 수백 개가 아니라 수천 또는 수만 개”라며 “그러나 이것도 다른 기본 모델을 사전 학습시키는 데 사용되는 인터넷의 많은 부분과는 큰 차이가 있다”라고 말했다.
 
수직 산업 요구에 대응하는 비교적 작은 크기의 도메인별 LLM은 이미 AI의 다음 전선으로 부상하고 있다. 기본 LLM은 금융 서비스 용어 및 시장 정보와 같은 더 타겟팅된 데이터 및 언어를 사용하는 것 외에, 여전히 학습을 위해 방대한 양의 프로세서 사이클과 수백만 달러의 비용을 소비할 수 있다.
 
핸콕은 “모델을 통해 처리해야 할 데이터가 많다면 병렬화 정도에 따라 수백 또는 수천 개의 전문 가속기(CPU 또는 GPU)를 몇 주 또는 몇 달에 걸쳐 실행해야 하는 경우가 많다. 하드웨어 자체도 비싸지만 오랜 기간 동안 쉬지 않고 실행하는 데 따르는 전기 요금도 있다. 게다가 데이터 수집에 소요되는 시간도 감안해야 한다”라고 말했다.
 
무정형 LLM은 범용으로 사용 가능하므로 도메인별 LLM과 함께 계속 성장할 전망이며, 이는 확인되지 않은 IP 스크래핑을 차단하는 도구 역시 계속 성장할 것임을 의미한다.
 
리탄은 “이러한 도구의 윤리에 대해 판단할 수는 없다. 내가 말할 수 있는 것은 이것이 불로 불을 끄는 데 도움이 되는 경우가 많고, 대규모 모델 개발자 및 공급자에게 중요하다는 것뿐이다. 이제 이들은 이와 같은 유형의 적대적 공격과 데이터 포이즈닝을 무시하도록 모델을 학습시키기 위해 막대한 비용을 지출해야 한다. 가장 강력하고 효과적인 AI를 가진 자가 승리할 것”이라면서 “그사이 예술가들의 불만과 반응은 전적으로 정당하다”라고 덧붙였다.
editor@itworld.co.kr