AIㆍML / 윈도우

“텍스트만 입력하면 영상이 뚝딱” 런웨이, 텍스트-비디오 생성기 ‘젠-2’ 공개

Mark Hachman | PCWorld 2023.03.21
AI 아트의 영역이 불과 몇 달 만에 이미지에서 영상으로 빠르게 커지고 있다. 소프트웨어 개발 업체 런웨이(Runway)가 자사 텍스트-비디오 생성기로 제작한 영상을 보면, 움직임이 거칠기는 하지만 상당히 자연스럽다. 또한 실제 이미지나 비디오 없어도 텍스트 프롬프트만으로 영상을 생성할 수 있는 수준으로 발전했다.
 
ⓒ Runway

지난해 등장한 AI 아트는 텍스트-이미지 생성기를 기반으로 제작된다. 사용자가 원하는 장면을 설명하는 텍스트 프롬프트를 입력하면 AI 도구가 이미지를 생성한다. 미드저니(Midjourney) 같은 서비스는 디스코드로 실행할 수 있으며, 포터(Fotor)달리(DALL-E)는 웹 브라우저를 통해 접근할 수 있다. 

텍스트-이미지 AI의 다음 단계인 텍스트-비디오 AI 아트는 다양한 방법으로 구현할 수 있다. 가령 폴리네이션(Pollinations.ai)은 관련된 장면 몇 가지를 연결해 애니메이션을 만드는 방식과 이미지의 3D 모델을 생성해 개체 주변을 확대하는 방식으로 AI 영상을 생성한다. 하지만 런웨이의 접근 방식은 전혀 다르다.

런웨이는 이미 다양한 AI 도구를 서비스한다. 텍스트 기반 이미지 생성은 물론 영상에서 특정 개체를 제거하는 인페인팅(Inpainting) 기능, AI 기반 보케, 트랜스크립트 및 자막 등이다. 런웨이가 “젠-1(Gen-1)”이라고 부르는 기존 텍스트-비디오 생성기를 통해 실제 장면을 구성한 다음, 이 장면 위에 텍스트로 생성한 다른 비디오를 오버레이할 수 있다. 이미지를 예로 들면, 골든 리트리버의 사진을 촬영한 후 AI 생성기를 사용해 도베르만의 사진으로 바꾸는 식이다. 

이것은 1세대에 불과하다. 런웨이가 최근 공개한 다음 세대 모델인 젠-2(Gen-2)는 이전 모델처럼 실제 사진/영상을 기존 기반으로 새로운 영상을 사용할 수 있지만, 실제 자료가 없어도 텍스트 프롬프트를 사용해 아예 처음부터 짧은 비디오 클립을 생성할 수 있다.
 
런웨이의 트윗에서 알 수 있듯이 비디오 클립은 최대 몇 초로 짧고 매우 거칠며, 프레임 속도가 낮다. 젠2 소개 페이지에는 텍스트-비디오, 텍스트+이미지-비디오, 이미지-비디오, 스타일화 등 8가지 모드가 소개되어 있다. 모델에 제공하는 정보가 더 많을수록 결과물의 품질이 좋은 것으로 보인다. 기존 개체나 장면 위에 비디오를 오버레이하는 방식을 사용하면 움직임이 훨씬 부드럽고 해상도도 좋다.

초기 액세스 또는 일반 액세스용으로 젠2 모델이 출시될 시기는 공개되지 않았으며, 현재는 대기자 목록에 등록해야 한다. 런웨이는 현재 모델에 대해 월 12달러의 스탠다드 요금제를 제공한다. 새로운 젠2의 요금제는 달라질 수 있다.
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.