2018.11.22

“팩트를 조작한다” 딥페이크의 동작 원리와 위험성

J.M. Porup | CSO
딥페이크(Deepfake)는 실제처럼 보이고 들리는 가짜 동영상 또는 오디오 파일이다. 과거에는 할리웃 특수 효과 스튜디오나 CIA에서나 제작헐 수 있었지만, 지금은 누구든 여가 시간에 딥페이크 소프트웨어를 다운로드하여 진짜처럼 보이는 가짜 동영상을 만들 수 있다.

Image Credit : GettyImagesBank

그동안 딥페이크를 만드는 목적은 그리 다양하지 않았다. 그저 유명인의 얼굴을 포르노 스타의 몸에 합성하거나 정치인들이 웃긴 이야기를 하도록 만드는 정도였다. 하지만 위험성은 작지 않다. 공격이 임박했다는 비상 경보의 딥페이크를 만들거나 가짜 성관계 동영상으로 누군가의 결혼을 망치거나 투표 며칠 전에 특정 후보자의 가짜 동영상이나 오디오를 유출하는 등의 시나리오가 가능하다.

이로 인해 많은 사람들이 불안해하고 있으며, 미국의 지난 대선 후보였던 공화당 상원의원 마르코 루비오는 이를 현대의 핵무기와 비교하기도 했다. 루비오는 "옛날에 미국을 위협하려면 10대의 항공모함과 핵무기 그리고 장거리 미사일이 필요했다. 지금은 인터넷 시스템, 뱅킹 시스템, 전기망에 액세스하면 되고, 점차 우리의 선거를 망치고 국내에서 엄청난 위기를 조장하며 우리를 약화시키는 매우 현실적인 가짜 동영상을 제작하는 능력만 있으면 된다"고 말했다.

흔히 볼 수 있는 과장된 정치적 수사일까? 아니면 딥페이크가 정말로 핵무기보다 더 위협적일까? 루비오의 말을 들으면 세상은 아마겟돈으로 치닫고 있는 듯 하다. 하지만 모두가 이에 동의하지는 않는다.

BKC(Berkman-Klein Center)와 MIT 미디어 랩의 윤리 및 AI 이니셔티브 디렉터 팀 황은 "핵폭탄만큼 위험하다고? 그렇지 않다고 생각한다. 사례를 보면 분명 충격적이다. 그들은 걱정하고 있으며 많은 질문을 던지고 있지만. 많은 사람들이 제안하는 방식으로 판도를 바꾸지는 않을 것이라고 생각한다"라고 지적했다.

딥페이크의 원리
백문이 불여일견이지만 사실 믿는 대로 보이기도 한다. 인간은 자신이 믿고 싶은 것을 뒷받침하는 정보를 찾고 나머지는 무시하는 경향을 보인다. 특히 악당들은 이런 인간의 성향을 악용한다. 의도적으로 거짓 정보(소위 말하는 "가짜 뉴스")를 만든 후 진실이라는 이름으로 확산되는 상황이 이미 목격되고 있다. 사실을 확인한 사람들이 항의를 할 때 즈음에는 이미 늦은 경우가 태반이다.

딥페이크는 2가지 머신러닝 모델이 충돌하는 GAN(생성적 적대 신경망, Generative Adversarial Network)를 이용해 이런 인간의 성향을 악용한다. 이 어렵게 들리는 문장의 의미는 다음과 같다.

한 가지 머신러닝 모델을 데이터 세트로 훈련한 후 가짜 동영상을 만들고 다른 하나는 가짜를 감지한다. 그리고 다른 머신러닝 모델이 가짜를 감지할 수 없을 때까지 가짜를 만든다. 훈련 데이터가 많을수록 신뢰할 만한 딥페이크를 만들기가 더 쉽다. 이런 이유로 전 대통령들과 할리우드 유명인들의 동영상이 초기의 1세대 딥페이크에 자주 활용되고 있는 것이다. 훈련에 사용할 동영상이 넘쳐나기 때문이다

샬로우 페이크(Shallow Fake)도 문제
11월 기자 회견에서 트럼프 대통령과 CNN 리포터 짐 아코스타와의 대립을 담은 조작 영상이 논란을 일으켰다. 그리고 이러한 논란은 저급한 기술의 조작 동영상도 허위 정보의 한 형태로써 딥페이크만큼 효과적일 수 있음이 입증되었다.

원본 동영상에서는 분명 한 백악관 여성 인턴이 아코스타의 마이크를 빼앗으려 시도하는 것으로 보이지만, 이후의 편집으로 인해 CNN 리포터가 인턴을 공격한 것처럼 보이게 표현됐다.

이 사건을 통해 동영상을 손쉽게 조작해 기자, 정치인, 기업, 브랜드 등의 대상에 대한 믿음을 손쉽게 흔들 수 있다는 우려가 커졌다. FUD(Fear, Uncertainty, Doubt)는 보안 분야에 종사하는 사람들에게 친숙하며 이런 FUD를 대대적으로 하나의 무기로써 배치하면 개인뿐만이 아니라 기업에도 심각한 피해가 발생할 수 있다. FUD 공격에 대한 방어는 매우 어렵다. 아코스타가 백악관 여성 인턴을 거칠게 밀쳤다는 의심이 뿌리를 내리면 상당수 시청자는 그 세부사항을 잊지 못하고 사실일 수도 있다고 의심하게 된다.

물론 GAN은 가짜 성관계 동영상을 만들고 정치인이 다른 말을 하는 것처럼 보이도록 하는 것 외에도 다른 용도로 사용할 수 있다. GAN은 머신러닝 모델이 스스로 학습하는 "비감독 학습"이라는 측면에서 큰 성과다. 이를 통해 자율주행 자동차가 행인과 자전거를 인식하고 알렉사와 시리 같은 음성 디지털 비서와의 대화를 개선할 수 있다. 일각에서는 GAN을 "AI에 대한 상상"의 현실화로 보고 있다.

일반 사용자는 페이크앱(FakeApp)을 다운로드하여 바로 자신만의 딥페이크를 만들 수 있다. 이 앱을 사용하는 방법이 아주 쉽지는 않지만 올 해 초 케빈 루즈가 뉴욕타임스를 위해 시연했듯이 일정 수준의 지식이 있는 사용자라면 그렇게 어렵지 않을 것이다.

팀 황은 오히려 다른 거짓 정보를 지적하며, "지금도 대중을 기만하고 의견을 조작해갈 수 있는 쉽고도 저렴한 방법이 많이 있다. 딥러닝이나 머신러닝이 없이도 가능하다”라고 말했다. 예를 들어, 거리에서 사람들이 누군가를 폭행하는 동영상을 촬영한 후 공격자들이 미국 이민자들이라는 등 동영상에 대한 가짜 설명을 작성하면 번거로운 머신러닝 알고리즘도 필요 없다. 가짜 설명과 그럴듯한 동영상만 있으면 되는 것이다.

딥페이크를 감지하는 방법
딥페이크를 감지하는 것은 어려운 문제이다. 물론, 아마추어 딥페이크는 한 눈에 알아볼 수 있다. 기계가 찾아낼 수 있는 특징으로는 눈 깜빡임의 부재나 잘못된 그림자 등이 있다. 그러나 딥페이크를 생성하는 GAN이 줄곧 개선되고 있기 때문에 머지않아 딥페이크를 감지하기 위해 디지털 포렌식에 의존해야 할 것이다.

이런 어려운 문제를 위해 DARPA(Defense Advanced Research Projects Agency)는 연구원들이 진짜임이 입증된 동영상을 더욱 잘 찾을 수 있도록 투자를 하고 있다. 하지만 GAN은 자체적인 훈련을 통해 이런 포렌식을 회피하는 방법을 학습할 수 있기 때문에 이 싸움에서 이길 수 있을지 여부는 불확실하다.

해당 프로젝트를 담당하고 있는 DARPA 프로그램 관리자 데이비드 거닝은 "이론적으로, 이를 감지하기 위해 우리가 알고 있는 모든 기법을 GAN에 제공하는 경우 이런 기법을 모두 통과할 수 있다"라고 MIT 테크놀로지 리뷰에 밝혔다.

가짜 동영상을 감지할 수 없다면 머지않아 보고 듣는 모든 것을 신뢰할 수 없게 될 것이라고 비판가들이 경고하고 있다. 그리고 눈에 보이는 것을 신뢰할 수 없게 되면 "진실의 종말"로 이어질 수 있다. 이로 인해 정치적인 시스템에 대한 신뢰가 위협받을 뿐 아니라 더욱 장기적인 측면에서 공유된 객관적인 현실에 대한 신뢰가 손상될 수 있다. 무엇이 진실인지에 대해 합의할 수 없다면 정책 문제를 논의하기란 더욱 어려워질 것이다.

하지만 팀 황은 다소 과장된 부분이 있다며, "딥페이크를 둘러싼 논쟁에서 가장 크게 비판하는 부분이다. 우리가 진실을 판단할 수 없는 수준에는 도달하고 않았다고 생각한다”고 강조했다.  editor@itworld.co.kr


2018.11.22

“팩트를 조작한다” 딥페이크의 동작 원리와 위험성

J.M. Porup | CSO
딥페이크(Deepfake)는 실제처럼 보이고 들리는 가짜 동영상 또는 오디오 파일이다. 과거에는 할리웃 특수 효과 스튜디오나 CIA에서나 제작헐 수 있었지만, 지금은 누구든 여가 시간에 딥페이크 소프트웨어를 다운로드하여 진짜처럼 보이는 가짜 동영상을 만들 수 있다.

Image Credit : GettyImagesBank

그동안 딥페이크를 만드는 목적은 그리 다양하지 않았다. 그저 유명인의 얼굴을 포르노 스타의 몸에 합성하거나 정치인들이 웃긴 이야기를 하도록 만드는 정도였다. 하지만 위험성은 작지 않다. 공격이 임박했다는 비상 경보의 딥페이크를 만들거나 가짜 성관계 동영상으로 누군가의 결혼을 망치거나 투표 며칠 전에 특정 후보자의 가짜 동영상이나 오디오를 유출하는 등의 시나리오가 가능하다.

이로 인해 많은 사람들이 불안해하고 있으며, 미국의 지난 대선 후보였던 공화당 상원의원 마르코 루비오는 이를 현대의 핵무기와 비교하기도 했다. 루비오는 "옛날에 미국을 위협하려면 10대의 항공모함과 핵무기 그리고 장거리 미사일이 필요했다. 지금은 인터넷 시스템, 뱅킹 시스템, 전기망에 액세스하면 되고, 점차 우리의 선거를 망치고 국내에서 엄청난 위기를 조장하며 우리를 약화시키는 매우 현실적인 가짜 동영상을 제작하는 능력만 있으면 된다"고 말했다.

흔히 볼 수 있는 과장된 정치적 수사일까? 아니면 딥페이크가 정말로 핵무기보다 더 위협적일까? 루비오의 말을 들으면 세상은 아마겟돈으로 치닫고 있는 듯 하다. 하지만 모두가 이에 동의하지는 않는다.

BKC(Berkman-Klein Center)와 MIT 미디어 랩의 윤리 및 AI 이니셔티브 디렉터 팀 황은 "핵폭탄만큼 위험하다고? 그렇지 않다고 생각한다. 사례를 보면 분명 충격적이다. 그들은 걱정하고 있으며 많은 질문을 던지고 있지만. 많은 사람들이 제안하는 방식으로 판도를 바꾸지는 않을 것이라고 생각한다"라고 지적했다.

딥페이크의 원리
백문이 불여일견이지만 사실 믿는 대로 보이기도 한다. 인간은 자신이 믿고 싶은 것을 뒷받침하는 정보를 찾고 나머지는 무시하는 경향을 보인다. 특히 악당들은 이런 인간의 성향을 악용한다. 의도적으로 거짓 정보(소위 말하는 "가짜 뉴스")를 만든 후 진실이라는 이름으로 확산되는 상황이 이미 목격되고 있다. 사실을 확인한 사람들이 항의를 할 때 즈음에는 이미 늦은 경우가 태반이다.

딥페이크는 2가지 머신러닝 모델이 충돌하는 GAN(생성적 적대 신경망, Generative Adversarial Network)를 이용해 이런 인간의 성향을 악용한다. 이 어렵게 들리는 문장의 의미는 다음과 같다.

한 가지 머신러닝 모델을 데이터 세트로 훈련한 후 가짜 동영상을 만들고 다른 하나는 가짜를 감지한다. 그리고 다른 머신러닝 모델이 가짜를 감지할 수 없을 때까지 가짜를 만든다. 훈련 데이터가 많을수록 신뢰할 만한 딥페이크를 만들기가 더 쉽다. 이런 이유로 전 대통령들과 할리우드 유명인들의 동영상이 초기의 1세대 딥페이크에 자주 활용되고 있는 것이다. 훈련에 사용할 동영상이 넘쳐나기 때문이다

샬로우 페이크(Shallow Fake)도 문제
11월 기자 회견에서 트럼프 대통령과 CNN 리포터 짐 아코스타와의 대립을 담은 조작 영상이 논란을 일으켰다. 그리고 이러한 논란은 저급한 기술의 조작 동영상도 허위 정보의 한 형태로써 딥페이크만큼 효과적일 수 있음이 입증되었다.

원본 동영상에서는 분명 한 백악관 여성 인턴이 아코스타의 마이크를 빼앗으려 시도하는 것으로 보이지만, 이후의 편집으로 인해 CNN 리포터가 인턴을 공격한 것처럼 보이게 표현됐다.

이 사건을 통해 동영상을 손쉽게 조작해 기자, 정치인, 기업, 브랜드 등의 대상에 대한 믿음을 손쉽게 흔들 수 있다는 우려가 커졌다. FUD(Fear, Uncertainty, Doubt)는 보안 분야에 종사하는 사람들에게 친숙하며 이런 FUD를 대대적으로 하나의 무기로써 배치하면 개인뿐만이 아니라 기업에도 심각한 피해가 발생할 수 있다. FUD 공격에 대한 방어는 매우 어렵다. 아코스타가 백악관 여성 인턴을 거칠게 밀쳤다는 의심이 뿌리를 내리면 상당수 시청자는 그 세부사항을 잊지 못하고 사실일 수도 있다고 의심하게 된다.

물론 GAN은 가짜 성관계 동영상을 만들고 정치인이 다른 말을 하는 것처럼 보이도록 하는 것 외에도 다른 용도로 사용할 수 있다. GAN은 머신러닝 모델이 스스로 학습하는 "비감독 학습"이라는 측면에서 큰 성과다. 이를 통해 자율주행 자동차가 행인과 자전거를 인식하고 알렉사와 시리 같은 음성 디지털 비서와의 대화를 개선할 수 있다. 일각에서는 GAN을 "AI에 대한 상상"의 현실화로 보고 있다.

일반 사용자는 페이크앱(FakeApp)을 다운로드하여 바로 자신만의 딥페이크를 만들 수 있다. 이 앱을 사용하는 방법이 아주 쉽지는 않지만 올 해 초 케빈 루즈가 뉴욕타임스를 위해 시연했듯이 일정 수준의 지식이 있는 사용자라면 그렇게 어렵지 않을 것이다.

팀 황은 오히려 다른 거짓 정보를 지적하며, "지금도 대중을 기만하고 의견을 조작해갈 수 있는 쉽고도 저렴한 방법이 많이 있다. 딥러닝이나 머신러닝이 없이도 가능하다”라고 말했다. 예를 들어, 거리에서 사람들이 누군가를 폭행하는 동영상을 촬영한 후 공격자들이 미국 이민자들이라는 등 동영상에 대한 가짜 설명을 작성하면 번거로운 머신러닝 알고리즘도 필요 없다. 가짜 설명과 그럴듯한 동영상만 있으면 되는 것이다.

딥페이크를 감지하는 방법
딥페이크를 감지하는 것은 어려운 문제이다. 물론, 아마추어 딥페이크는 한 눈에 알아볼 수 있다. 기계가 찾아낼 수 있는 특징으로는 눈 깜빡임의 부재나 잘못된 그림자 등이 있다. 그러나 딥페이크를 생성하는 GAN이 줄곧 개선되고 있기 때문에 머지않아 딥페이크를 감지하기 위해 디지털 포렌식에 의존해야 할 것이다.

이런 어려운 문제를 위해 DARPA(Defense Advanced Research Projects Agency)는 연구원들이 진짜임이 입증된 동영상을 더욱 잘 찾을 수 있도록 투자를 하고 있다. 하지만 GAN은 자체적인 훈련을 통해 이런 포렌식을 회피하는 방법을 학습할 수 있기 때문에 이 싸움에서 이길 수 있을지 여부는 불확실하다.

해당 프로젝트를 담당하고 있는 DARPA 프로그램 관리자 데이비드 거닝은 "이론적으로, 이를 감지하기 위해 우리가 알고 있는 모든 기법을 GAN에 제공하는 경우 이런 기법을 모두 통과할 수 있다"라고 MIT 테크놀로지 리뷰에 밝혔다.

가짜 동영상을 감지할 수 없다면 머지않아 보고 듣는 모든 것을 신뢰할 수 없게 될 것이라고 비판가들이 경고하고 있다. 그리고 눈에 보이는 것을 신뢰할 수 없게 되면 "진실의 종말"로 이어질 수 있다. 이로 인해 정치적인 시스템에 대한 신뢰가 위협받을 뿐 아니라 더욱 장기적인 측면에서 공유된 객관적인 현실에 대한 신뢰가 손상될 수 있다. 무엇이 진실인지에 대해 합의할 수 없다면 정책 문제를 논의하기란 더욱 어려워질 것이다.

하지만 팀 황은 다소 과장된 부분이 있다며, "딥페이크를 둘러싼 논쟁에서 가장 크게 비판하는 부분이다. 우리가 진실을 판단할 수 없는 수준에는 도달하고 않았다고 생각한다”고 강조했다.  editor@itworld.co.kr


X