글로벌 칼럼 | 테일러 스위프트 딥페이크 사태와 마이크로소프트의 관망

온라인에 출현한 가수 테일러 스위프트의 가짜 이미지는 딥페이크의 시작에 불과하다. 그러나 마이크로소프트가 문제 해결에 손을 보탤 여지는 어쩌면 그리 크지 않다.
 

지난 몇 주 동안 테일러 스위프트는 좋은 면과 나쁜 면 모두에서 홍보 효과를 톡톡히 누렸다. 좋은 면은 남자친구 트래비스 켈스가 슈퍼볼 우승팀에 속해 있었고, 경기를 관람하는 모습이 전파를 탔다는 사실이다. 그러나 나쁜 측면도 있었다. 최근 인공지능이 생성한 가짜 누드 이미지가 인터넷에 넘쳐나고 있다는 점이다.

예상대로 가짜 합성 이미지의 제작과 유포에 대한 비난이 이어졌다. 특히 생성형 AI 기업과 마이크로소프트 CEO 사티아 나델라도 비난에 합류했다. 나델라는 비난과 함께 해결 방안에 대한 자신의 생각을 공유하기도 했다: "기업의 책임을 상기한다. 안전한 콘텐츠가 더 많이 생산될 수 있도록 기술 주변에 가드레일을 설치하는 책임이다."

마이크로소프트는 12일 딥페이크 문제를 다시 한 번 언급했다(스위프트를 거론하지는 않았지만). 블로그 게시물에서 마이크로소프트 부회장 브래드 스미스는 딥페이크의 확산을 비난하고 확산을 제한하기 위한 조치를 취하고 있다고 기술했다.

스미스는 "불행히도 도구는 무기가 될 수도 있으며, 이러한 패턴이 반복되고 있다. 현재 영상, 음성, 이미지를 기반으로 한 딥페이크 등 새로운 AI 도구를 악용하는 사례가 급속히 증가하고 있다. 이러한 추세는 선거, 금융 사기, 합의되지 않은 음란물을 통한 괴롭힘, 차세대 사이버 괴롭힘에 대한 새로운 위협이 되고 있다"라고 밝혔다.

스미스는 마이크로소프트의 "강력하고 포괄적인 접근 방식"을 약속하며 다음과 같이 덧붙였다. “마이크로소프트는 사용자가 이미지나 동영상이 AI로 생성된 것인지 조작된 것인지 신속하게 판단하는 혁신에 전념하고 있다." 

마이크로소프트로의 관점에는 틀린 점이 없다. 세계에서 가장 크고 영향력 있는 생성형 AI 기업에게 기대할 수 있는 전형적인 대응이다. 하지만 나델라와 스미스는 회사의 AI 도구가 스위프트의 가짜 이미지 제작에 악용된 정황을 간과하고 있다. 더욱 심각한 것은 마이크로소프트의 한 AI 개발자가 적절한 보호 장치가 존재하지 않는다고 미리 경고했음에도 마이크로소프트가 아무런 조치를 취하지 않았다는 점이다.
 

마이크로소프트에 대한 고발

이번 유명인의 딥페이크 이미지 제작에 마이크로소프트 개발 도구가 사용되었다는 정황은 404 미디어의 기사에서 언급됐다. 이 기사는 이번 딥페이크 영상이 '합의되지 않은 포르노'를 제작하는 텔레그램 커뮤니티에서 시작되었다고 주장하며 포르노 이미지 생성에 마이크로소프트 디자이너라는 도구의 사용이 권장됐다고 주장했다. 기사는 "이론적으로 디자이너는 유명인 이미지 생성을 거부한다. 그러나 AI 생성기는 쉽게 속일 수 있다. 404는 프롬프트를 약간만 수정하면 규칙을 우회할 수 있다는 사실을 발견했다"라고 설명했다.

더욱 심각한 것은 한 마이크로소프트 AI 엔지니어가 12월에 앞서 경고한 바 있다는 점이다. 셰인 존스라는 이 엔지니어는 마이크로소프트 디자이너의 두뇌 역할을 하는 오픈AI의 이미지 생성기 DALL-E의 안전 가드레일이 우회될 수 있다며, 결과적으로 노골적이고 폭력적인 이미지를 만들 수 있다고 주장했다. 또한, 마이크로소프트가 자신의 경고를 무시하고 발견한 사실에 대한 공개 발언을 막으려고 했다고도 밝혔다.

존스는 상원의원 패티 머레이(D-WA), 마리아 캔트웰(D-WA), 하원의원 아담 스미스(D-WA), 밥 퍼거슨 워싱턴주 법무장관에게 서한을 보냈다. "[DALL-E] 모델이 유해한 이미지를 생성하고 배포하는 것을 방지하도록 설계된 일부 가드레일을 우회하는 보안 취약점을 발견했다. ... DALL-E 3가 공공 안전에 위험을 초래할 수 있으며 오픈AI가 이 모델과 관련된 위험을 해결할 수 있을 때까지 공공 사용에서 제거해야 한다는 결론에 도달했다”라고 적은 서한이다.

존스는 이와 함께 "DALL-E 3의 취약점과 DALL-E 3를 사용하는 마이크로소프트 디자이너 같은 제품은, AI를 쉽게 악용해 유해한 콘텐츠를 만들 수 있게 한다. 마이크로소프트는 이러한 취약점과 악용 가능성을 알고 있었다"라고 주장했다.

존스는 마이크로소프트가 조치를 취하지 않았고, 이 문제에 대한 공개 서한을 링크드인에 게시한 바 있지만, 마이크로소프트 법무팀의 요구로 관리자로부터 서한을 삭제하라는 지시를 받았다고도 밝혔다. 여기에 더해 스위프트의 딥페이크를 언급하며 "이것은 앞서 우려했던 남용의 한 예이며, 오픈AI에 DALL-E 3를 공개 사용 목록에서 삭제하도록 촉구한 이유"라고 밝혔다.

긱와이어에 따르면, 마이크로소프트는 "직원의 신고를 조사한 결과, 공유한 기술이 마이크로소프트의 AI 기반 이미지 생성 솔루션의 안전 필터를 우회하지 않았음을 확인했다"라고 밝혔다.

분명히 해둘 점은 이 모든 것이 아직은 정황일 뿐이라는 사실이다. 이미지가 마이크로소프트 디자이너로 만들어졌다는 확인도 없고, 마이크로소프트와 존스 중 누구를 믿어야 할지 아직은 분명하지 않다. 하지만 마이크로소프트가 생성형 AI의 위험성을 경시하거나 무시한 전력이 있었던 것은 분명한 사실이다.

지난 5월 기사에서 언급했듯, 마이크로소프트는 회사 내 생성형 AI가 윤리적으로 개발되고 있는지 확인하는 업무를 담당하던 30명의 팀원을 감원하고 팀을 해체했다. 인력 감축은 마이크로소프트의 생성형 AI 챗봇이 출시되기 몇 달 전에 있었고 팀 해체는 그 몇 달 후에 이뤄졌다.

챗봇이 출시되기 전, 마이크로소프트의 AI 담당 부사장인 존 몽고메리는 팀원들에게 해체 이유를 설명했다. "CTO 케빈 스콧과 CEO 사티아 나델라는 최신 오픈 AI 모델과 그 뒤를 잇는 모델을 매우 빠른 속도로 고객에게 제공해야 한다는 압박이 매우 크다." 또한 윤리 팀이 이 과정을 가로막고 있다고 덧붙였다.

한 팀원이 AI에는 해결해야 할 중대한 위험이 있다고 말하며 재고해 달라고 요청하자 몽고메리는 "재고해야 할까? 그럴 수 없을 것 같다. 안타깝게도 압박은 여전하다. 우리는 견해가 다르다. ... 소시지에는 많은 것들이 갈린 채 섞여 있기 마련"이라고 응답했다.

팀이 해체된 후 마이크로소프트는 곧바로 생성형 AI를 도입했다. 그리고 회사가 원하던 바를 정확히 달성했다. 회사의 주가는 급등했고, 애플에 이어 두 번째로 3조 달러 이상의 기업 가치를 인정받는 회사가 되었다.

마이크로소프트 디자이너가 테일러 스위프트 딥페이크 제작에 사용됐을 수도, 사용되지 않았을 수도 있다. 그러나 그와 별개로 마이크로소프트가 AI의 잠재적 위험에 대한 입장을 바꾸지 않을 것이라는 추측의 근거는 된다. 미국 대통령 선거가 치러지는 해에 딥페이크가 해일처럼 밀려올 가능성이 높다는 것은 결코 좋은 징조가 아닐 것이다.

* Preston Gralla는 컴퓨터월드 외부 편집자이자 45권의 서적을 집필한 저술가다.
editor@itworld.co.kr