2021.09.01

엔비디아, 인터스피치 2021 행사서 ‘대화형 AI 모델’ 발표

편집부 | ITWorld
엔비디아(www.nvidia.co.kr)가 8월 30일부터 9월 3일까지 열리는 음성 언어 처리 학회 ‘인터스피치 2021(INTERSPEECH 2021)’에서 표현적 음성 합성(Expressive speech synthesis)을 위한 대화형 AI 모델을 공개한다고 밝혔다. 이 모델은 고품질에 제어 또한 가능한 음성 합성을 구현해 인간 음성의 풍부함을 잡음 없이 담아내는 것이다. 



엔비디아의 모델들은 은행과 소매업계의 음성 자동화 고객 서비스 라인을 지원하고 비디오 게임과 소설 속 캐릭터에 생동감을 불어넣는 한편, 디지털 아바타용 실시간 음성 합성을 지원한다. 엔비디아 크리에이티브 팀은 AI의 위력을 다루는 비디오 시리즈에 삽입돼 풍부한 표현력을 자랑하는 내레이션에도 음성 합성 기술을 사용하고 있다고 설명했다.

표현적 음성 합성은 엔비디아 연구진이 대화형 AI 분야에서 진행 중인 여러 연구의 일부이다. 대화형 AI는 음성 합성 외에도 자연어 처리, 자동 음성 인식, 키워드 검출, 오디오 개선 등 여러 요소를 포함한다.

엔비디아 GPU에서 효율적으로 실행되도록 최적화된 최첨단 연구의 일부는 엔비디아 NeMo 툴킷을 통해 오픈소스로 제작됐으며, 엔비디아의 NGC 컨테이너 허브와 기타 소프트웨어에서 제공된다. 

엔비디아 연구진과 크리에이티브 전문가들은 음성 합성 기술을 실제 사례에 접목해 대화형 AI를 보여주고 있다. 그 일환으로 엔비디아는 ‘아이엠 AI(I AM AI)’의 제작에 음성 합성 모델을 사용한다. 아이엠 AI는 산업 전반을 재편하는 혁신들을 소개하는 비디오 시리즈다.

아이엠 AI의 프로듀서는 RAD-TTS 인터페이스를 사용해 대본 내용을 직접 녹음한 다음, 자신의 음성을 여성 내레이터의 목소리로 변환했다. 이 기본 내레이션을 바탕으로 AI의 음성이 성우의 육성처럼 들리게 연출했다. 즉, 합성 음성을 수정해 특정 단어를 강조하고 영상의 분위기를 더욱 완벽히 표현하도록 내레이션의 속도를 변경했다. 

RAD-TTS 모델의 기능은 내레이션을 덧입히는 수준을 넘어선다고 업체 측은 설명했다. 문자 음성 변환 프로그램은 게이밍, 발성 장애를 가진 개인의 지원, 사용자의 목소리로 언어 사이를 오가는 번역 등에 활용된다. 더 나아가 유명 가수의 공연도 재현할 수 있다. 곡의 멜로디 뿐 아니라 노래 너머의 감정도 표현 가능하다.

엔비디아 NeMo는 GPU 가속 대화형 AI를 위한 오픈소스 파이썬(Python) 툴킷이다. 연구자와 개발자, 크리에이터의 애플리케이션에 적합한 음성 모델의 신속한 실험과 미세 조정에 기여한다.

NeMo의 간편한 API와 사전 훈련된 모델들은 문자 음성 변환과 자연어 처리, 실시간 자동 음성 인식용 모델의 개발과 커스터마이징을 지원한다. 일부 모델은 엔비디아 DGX 시스템에서 수만 시간 분량의 오디오 데이터로 훈련된다. 또한 개발자들은 자신의 활용 사례에 맞춰 모델 일체를 미세 조정할 수 있다. 이때 엔비디아 텐서 코어(Tensor Core) GPU에서 혼합 정밀도 컴퓨팅을 사용해 훈련 속도를 높인다.

엔비디아 NeMo는 모질라 커먼 보이스(Mozilla Common Voice)로 훈련한 모델을 NGC 카탈로그를 통해 제공한다. 모질라 커먼 보이스는 76개 언어와 1만4,000시간 분량의 음성 데이터를 크라우드 소싱 방식으로 수집한 데이터세트다. 엔비디아는 관련 프로젝트에 대한 지원을 통해 공개 데이터 음성 데이터세트를 구축하고 음성 기술을 대중화할 방침이라고 밝혔다. editor@itworld.co.kr


2021.09.01

엔비디아, 인터스피치 2021 행사서 ‘대화형 AI 모델’ 발표

편집부 | ITWorld
엔비디아(www.nvidia.co.kr)가 8월 30일부터 9월 3일까지 열리는 음성 언어 처리 학회 ‘인터스피치 2021(INTERSPEECH 2021)’에서 표현적 음성 합성(Expressive speech synthesis)을 위한 대화형 AI 모델을 공개한다고 밝혔다. 이 모델은 고품질에 제어 또한 가능한 음성 합성을 구현해 인간 음성의 풍부함을 잡음 없이 담아내는 것이다. 



엔비디아의 모델들은 은행과 소매업계의 음성 자동화 고객 서비스 라인을 지원하고 비디오 게임과 소설 속 캐릭터에 생동감을 불어넣는 한편, 디지털 아바타용 실시간 음성 합성을 지원한다. 엔비디아 크리에이티브 팀은 AI의 위력을 다루는 비디오 시리즈에 삽입돼 풍부한 표현력을 자랑하는 내레이션에도 음성 합성 기술을 사용하고 있다고 설명했다.

표현적 음성 합성은 엔비디아 연구진이 대화형 AI 분야에서 진행 중인 여러 연구의 일부이다. 대화형 AI는 음성 합성 외에도 자연어 처리, 자동 음성 인식, 키워드 검출, 오디오 개선 등 여러 요소를 포함한다.

엔비디아 GPU에서 효율적으로 실행되도록 최적화된 최첨단 연구의 일부는 엔비디아 NeMo 툴킷을 통해 오픈소스로 제작됐으며, 엔비디아의 NGC 컨테이너 허브와 기타 소프트웨어에서 제공된다. 

엔비디아 연구진과 크리에이티브 전문가들은 음성 합성 기술을 실제 사례에 접목해 대화형 AI를 보여주고 있다. 그 일환으로 엔비디아는 ‘아이엠 AI(I AM AI)’의 제작에 음성 합성 모델을 사용한다. 아이엠 AI는 산업 전반을 재편하는 혁신들을 소개하는 비디오 시리즈다.

아이엠 AI의 프로듀서는 RAD-TTS 인터페이스를 사용해 대본 내용을 직접 녹음한 다음, 자신의 음성을 여성 내레이터의 목소리로 변환했다. 이 기본 내레이션을 바탕으로 AI의 음성이 성우의 육성처럼 들리게 연출했다. 즉, 합성 음성을 수정해 특정 단어를 강조하고 영상의 분위기를 더욱 완벽히 표현하도록 내레이션의 속도를 변경했다. 

RAD-TTS 모델의 기능은 내레이션을 덧입히는 수준을 넘어선다고 업체 측은 설명했다. 문자 음성 변환 프로그램은 게이밍, 발성 장애를 가진 개인의 지원, 사용자의 목소리로 언어 사이를 오가는 번역 등에 활용된다. 더 나아가 유명 가수의 공연도 재현할 수 있다. 곡의 멜로디 뿐 아니라 노래 너머의 감정도 표현 가능하다.

엔비디아 NeMo는 GPU 가속 대화형 AI를 위한 오픈소스 파이썬(Python) 툴킷이다. 연구자와 개발자, 크리에이터의 애플리케이션에 적합한 음성 모델의 신속한 실험과 미세 조정에 기여한다.

NeMo의 간편한 API와 사전 훈련된 모델들은 문자 음성 변환과 자연어 처리, 실시간 자동 음성 인식용 모델의 개발과 커스터마이징을 지원한다. 일부 모델은 엔비디아 DGX 시스템에서 수만 시간 분량의 오디오 데이터로 훈련된다. 또한 개발자들은 자신의 활용 사례에 맞춰 모델 일체를 미세 조정할 수 있다. 이때 엔비디아 텐서 코어(Tensor Core) GPU에서 혼합 정밀도 컴퓨팅을 사용해 훈련 속도를 높인다.

엔비디아 NeMo는 모질라 커먼 보이스(Mozilla Common Voice)로 훈련한 모델을 NGC 카탈로그를 통해 제공한다. 모질라 커먼 보이스는 76개 언어와 1만4,000시간 분량의 음성 데이터를 크라우드 소싱 방식으로 수집한 데이터세트다. 엔비디아는 관련 프로젝트에 대한 지원을 통해 공개 데이터 음성 데이터세트를 구축하고 음성 기술을 대중화할 방침이라고 밝혔다. editor@itworld.co.kr


X