2021.06.25

엔비디아, CVPR 2021서 화상회의용 딥러닝 모델 공개

편집부 | ITWorld
엔비디아(www.nvidia.co.kr)가 국제 컴퓨터 비전 컨퍼런스인 CVPR(Computer Vision and Pattern Recognition) 2021에서 화상회의용 딥러닝 모델 ‘비드 투 비드 카메오(Vid2Vid Cameo)’를 공개했다.



클라우드 네이티브 AI 동영상 스트리밍 플랫폼인 엔비디아 맥신(NVIDIA Maxine) SDK 기반의 비드 투 비드 카메오는 생성적 적대 신경망(GAN)을 통해 사용자의 2D 이미지만으로 참여자가 실제 말하는 것과 같은 토킹헤드(taking-head) 합성 영상을 생성한다. 이로써, 사용자는 언제 어디서나 증명사진과 같은 완벽한 모습으로 화상회의에 참여할 수 있게 됐다.

비드 투 비드 카메오를 통해 화상회의에 참여하기에 앞서 사용자는 자신의 사진이나 캐릭터 아바타와 같은 참조 이미지를 제출해야 한다. 이후, 화상회의를 시작하면 AI 모델이 사용자의 움직임을 실시간으로 포착해 이를 기존에 제출한 참조 이미지에 적용한다.

예를 들어 사용자가 정장을 입은 사진을 업로드하면, 실제로 옷을 갖춰 입지 않더라도 화면에는 정장을 입은 모습으로 보이게 된다. 이는 AI가 사용자의 얼굴 움직임을 기존에 제출한 사진에 매핑했기 때문이다. 참여자가 얼굴을 왼쪽으로 돌려도 AI가 시선 처리를 해주기 때문에 시선은 웹캠을 정면으로 마주하는 모습으로 보인다.

해당 AI 기술은 회의 참석자의 용모를 단정하게 하는 것 외에도, 기존 화상회의에 필요한 대역폭을 최대 10배까지 줄여 지터(jitter) 및 랙(lag) 현상을 방지한다. 해당 기술은 곧 엔비디아 비디오 코덱 SDK(NVIDIA Video Codec SDK)에서 AI 페이스 코덱(AI Face Codec) 형식으로 제공될 예정이다.

엔비디아 류밍유 연구원은 “많은 사람들이 제한된 인터넷 대역폭을 사용하지만, 여전히 친구나 가족들과의 원활한 화상 통화를 원한다”며, “이 기술은 그런 이들을 도울 뿐만 아니라 애니메이션 제작자, 사진 편집자 및 게임 개발자들의 다양한 작업에도 사용될 수 있다”라고 설명했다.

비드 투 비드 카메오는 이번 주 개최된 온라인 학술대회 CVPR 2021에서 엔비디아의 28개 논문 중 하나로 발표됐으며, AI 플레이그라운드(AI Playground)에서 누구나 리서치 데모를 직접 체험할 수 있다. editor@itworld.co.kr


2021.06.25

엔비디아, CVPR 2021서 화상회의용 딥러닝 모델 공개

편집부 | ITWorld
엔비디아(www.nvidia.co.kr)가 국제 컴퓨터 비전 컨퍼런스인 CVPR(Computer Vision and Pattern Recognition) 2021에서 화상회의용 딥러닝 모델 ‘비드 투 비드 카메오(Vid2Vid Cameo)’를 공개했다.



클라우드 네이티브 AI 동영상 스트리밍 플랫폼인 엔비디아 맥신(NVIDIA Maxine) SDK 기반의 비드 투 비드 카메오는 생성적 적대 신경망(GAN)을 통해 사용자의 2D 이미지만으로 참여자가 실제 말하는 것과 같은 토킹헤드(taking-head) 합성 영상을 생성한다. 이로써, 사용자는 언제 어디서나 증명사진과 같은 완벽한 모습으로 화상회의에 참여할 수 있게 됐다.

비드 투 비드 카메오를 통해 화상회의에 참여하기에 앞서 사용자는 자신의 사진이나 캐릭터 아바타와 같은 참조 이미지를 제출해야 한다. 이후, 화상회의를 시작하면 AI 모델이 사용자의 움직임을 실시간으로 포착해 이를 기존에 제출한 참조 이미지에 적용한다.

예를 들어 사용자가 정장을 입은 사진을 업로드하면, 실제로 옷을 갖춰 입지 않더라도 화면에는 정장을 입은 모습으로 보이게 된다. 이는 AI가 사용자의 얼굴 움직임을 기존에 제출한 사진에 매핑했기 때문이다. 참여자가 얼굴을 왼쪽으로 돌려도 AI가 시선 처리를 해주기 때문에 시선은 웹캠을 정면으로 마주하는 모습으로 보인다.

해당 AI 기술은 회의 참석자의 용모를 단정하게 하는 것 외에도, 기존 화상회의에 필요한 대역폭을 최대 10배까지 줄여 지터(jitter) 및 랙(lag) 현상을 방지한다. 해당 기술은 곧 엔비디아 비디오 코덱 SDK(NVIDIA Video Codec SDK)에서 AI 페이스 코덱(AI Face Codec) 형식으로 제공될 예정이다.

엔비디아 류밍유 연구원은 “많은 사람들이 제한된 인터넷 대역폭을 사용하지만, 여전히 친구나 가족들과의 원활한 화상 통화를 원한다”며, “이 기술은 그런 이들을 도울 뿐만 아니라 애니메이션 제작자, 사진 편집자 및 게임 개발자들의 다양한 작업에도 사용될 수 있다”라고 설명했다.

비드 투 비드 카메오는 이번 주 개최된 온라인 학술대회 CVPR 2021에서 엔비디아의 28개 논문 중 하나로 발표됐으며, AI 플레이그라운드(AI Playground)에서 누구나 리서치 데모를 직접 체험할 수 있다. editor@itworld.co.kr


X