AIㆍML

“소송 대신 독 타기” 생성형 AI 학습 방해하는 포이즌 데이터 툴 나이트셰이드

Manfred Bremmer | COMPUTERWOCHE 2023.10.27
나이트셰이드는 픽셀 수준에서 이미지를 “독살”할 수 있으며, 심지어는 이미지 생성형 AI 모델 전체를 쓸모없게 만들 수도 있다.

오픈AI, 메타, 구글, 그리고 스테이블 디퓨전을 운영하는 스태빌리티 AI까지 생성형 AI 솔루션을 제공하는 모든 업체는 현재 여러 건의 소송을 진행 중이다. 저작권이 있는 자료와 개인 데이터가 동의나 보상 없이 도용되었다고 주장하는 아티스트들이 이들 업체를 고소했기 때문이다.

하지만 입증 책임이 원고에게 있기 때문에 이들 소송의 결과는 불확실하다. 또한 생성형 AI 업체들은 학습 데이터에 책, 신문, 이미지, 예술 작품이 포함되어 있지만, 생성형 AI가 이들 학습 데이터를 기반으로 새로운 콘텐츠를 생성하기 때문에 공정 사용에 해당한다고 주장한다.

시카고 대학교의 벤 자오 교수가 이끄는 연구팀은 AI 업체와 아티스트 간의 불균형을 바로잡기 위해 나이트셰이드(Nightshade)라는 새로운 툴을 개발했다.

나이트셰이드는 이미지를 창작자의 허락 없이 AI를 학습시키는 데 사용하면, 해당 AI 모델을 “독살”할 수 있다. “독을 탄 이미지(Poison Data)”는 달리나 미드저니, 스테이블 디퓨전 같은 이미지 생성 AI 모델이 사용할 수 없는 결과물을 생성하도록 만든다. 연구팀은 옵트아웃/크롤링 금지 지시어를 무시하는 웹 스크레이퍼에 대응해 콘텐츠 창작자가 사용할 수 있는 최후의 방어선으로 나이트셰이드를 제안한다.

이런 포이즌 데이터 패턴은 예를 들어 모자 사진은 케이크로, 핸드백 사진은 토스터로 인식하도록 모델을 조작할 수 있다. AI 업체는 손상된 샘플을 일일이 찾아서 삭제해야 하기 때문에 실제로는 포이즌 데이터를 학습 데이터에서 제거하기 매우 어렵다. 보고서에 따르면, 100개 미만의 오염된 샘플만으로도 스테이블 디퓨전의 SDXL 프롬프트를 손상시킬 수 있다.

연구팀은 최신 스테이블 디퓨전 모델과 자체적으로 훈련한 AI 모델을 대상으로 나이트셰이드를 테스트했다. 테스트에서 50개의 중독된 개 이미지만 제공한 다음 개 이미지를 요청하자 스테이블 디퓨전은 다리가 많고 만화 같은 얼굴을 가진 생물을 생성했다. 300장의 중독된 패턴을 사용해 스테이블 디퓨전이 고양이처럼 보이는 개 이미지를 생성하거나 모자를 파이로 바꿀 수도 있다.
 
테스트에서 나이트셰이트는 독을 탄 이미지 300장 만으로도 스테이블 디퓨전이 개 대신 고양이 이미지를 생성하도록 만들었다. ⓒ Department of Computer Science, University of Chicago

또한 연구팀은 창작자가 자신의 개인 스타일을 AI 회사가 포착하지 못하도록 “가리는” 툴인 클레이즈(Glaze)도 개발했다. 글레이즈는 나이트셰이드와 유사하게 동작하는데, 이미지의 픽셀을 미묘하게 조작해 머신러닝 모델이 이미지를 실제와 다른 것으로 해석하도록 한다.

연구팀은 나이트셰이드와 글레이즈를 통합해 창작자가 포이즌 데이터를 사용하는 방식을 선택할 수 있도록 할 계획이다. 또한 사용자가 직접 맞춤형 툴을 만들 수 있도록 나이트셰이드를 오픈소스로 공개할 계획인데, 자오 교수는 "더 많은 사람이 사용하고 자신만의 버전을 만들면 이 툴은 더욱 강력해질 것”이라고 강조했다. 대규모 AI 모델의 데이터 세트는 수십억 장의 이미지로 학습한다. 따라서 독이 든 이미지가 많을수록 손상 수준도 커진다. 하지만 이 프로그램은 이미 학습을 마친 기존 모델에는 영향을 미치지 않는다.
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.