2017.07.17

기계 번역이 직면한 마지막 전선 : 세상 이치에 대한 이해

George Nott | Computerworld
엉뚱한 번역으로 웃음을 주는 코미디부터 중국의 황당한 영문 표지판 시리즈에 이르기까지, 부실한 번역은 오래 전부터 사람들에게 즐거움을 주는 소재다.

최신 기계 번역 역시 조롱을 피해갈 수는 없다. 지난달 지미 팰런 쇼에 출연한 가수 마일리 사이러스는 구글 번역을 통해 영어에서 크로아티아어로 번역한 다음 다시 영어로 재번역한 가사를 붙여 노래를 불렀다.

마일리 사이러스가 에드 시런의 곡 Shape of You를 이중으로 번역해 부른 곡의 가사는 “하지만 내 장기가 떨어져 나왔고 나는 그 시체를 좋아한다” 등 원곡의 의미와는 전혀 동떨어진 재미를 선사했다.

기계 번역은 최근 몇 년 사이 크게 발전했지만 노래 가사의 경우 애초부터 앞뒤가 맞지 않고 문맥도 없는 경우가 많아 기계 번역이 처리하기에 특히 까다롭다.

최신 신경 기계 번역 기술 덕분에 번역 정확도는 인간 번역가에 근접한 수준까지 올라섰다.
이 분야의 선두인 구글은 작년 한해 동안에만 번역 엔진의 오류 수를 절반으로 줄였다고 한다.
그러나 기계 번역의 품질이 인간을 추월할 수 있다고 해도 기계 번역 시스템이 완벽한 결과를 생산하기 위해서는 극복해야 할 문제가 몇 가지 남아 있다.

구글 연구 이사 피터 노르빅은 기계 번역이 그 목표에 도달하기 위해서는 언어에 대한 방대한 지식 외에 “세상의 이치를 이해하는 능력”도 필요하다고 말한다.



바벨을 넘어
현재 널리 사용되는 기계 번역의 시초는 1997년 알타비스타(AltaVista)의 바벨피시(Babelfish, 더글라스 애덤스의 ‘은하수를 여행하는 히치하이커를 위한 안내서’에 나오는 생명체의 이름으로, 귀를 갖다 대면 어느 언어로 된 말이라도 즉시 이해할 수 있음)다.

바벨피시, 구글 번역, 마이크로소프트 번역과 같은 주요 서비스는 오랫동안 통계적 기계 번역(Statistical Machine Translation, SMT)이라는 방법을 사용했다. 구글의 경우 구문 기반 기계 번역이라는 형태의 SMT를 사용한다.

이 방법은 인간이 이미 번역한 방대한 양의 콘텐츠를 흡수한다. 기계는 통계적인 분석을 사용해서 패턴을 찾고 이 패턴으로 언어를 ‘학습’한다.

이름에서 알 수 있듯이 구문 기반 기계 번역은 전체 문장이 부족하더라도 연속된 단어 뭉치를 사용해 작동한다.

최근 기계 번역 엔진은 인공 신경망을 사용하기 시작하면서 전체 입력 문장을 번역 단위로 계산하는 신경 기계 번역(Neural Machine Translatio, NMT)이 부상하고 있다.

구글의 용후이 등은 2016년 연구 논문에서 “문제는 NMT 시스템에는 학습과 번역 추론, 두 가지 측면에서 모두 상당한 연산이 필요하다는 것이다. 이 문제로 인해 정확성과 속도가 중요한 실무 서비스 환경에서 NMT가 활용되지 못하고 있다”고 썼다.

기계 번역 서비스들은 현재 NMT 실용성을 가로막는 가장 큰 장벽, 즉 막대한 연산 리소스와 그 연산에 필요한 시간 문제를 극복하기 시작했다.

구글은 지난해 9월 구글 신경 기계 번역(Google Neural Machine Translation, GNMT) 시스템’을 출범했다. 구글은 발표문에서 GNMT가 ‘첨단 학습 기술을 활용해 기계 번역 품질을 대대적으로 개선했다”고 밝혔다.

GNMT는 위키피디아 및 뉴스 웹사이트 샘플 문장에 대한 GNMT와 SMT 번역을 비교하는 방법을 사용해 번역 오류를 55% 이상, 일부 주요 언어에서는 최대 85%까지 줄였다.

지난해 11월에는 마이크로소프트도 NMT를 도입하면서 “SMT 기술에 비해 훨씬 더 개선된 번역 품질을 제공”한다고 발표했다.

CNBC 보도에 따르면 아마존 웹 서비스도 AI에 대한 그동안의 연구를 바탕으로 올해 11월부터 기계 번역 서비스를 제공할 예정이며 NMT를 사용할 가능성이 높다. 페이스북의 마크 주커버그는 지난 5월 NMT와는 약간 다른 방식의 합성곱(convolutional) 신경망을 사용하는 페이스북의 기계 번역 연구에 대해 밝혔다. 주커버그는 페이스북 페이지에 “페이스북의 AI 연구 팀은 새로운 신경망을 사용해 지금 방법보다 9배 더 빠르면서 더욱 정확한 번역을 실현했다”고 썼다.

한계는 여전히 있다. 마이크로소프트는 신경망 사용이 “미래의 개선을 위한 첫 걸음일 뿐”이라고 밝혔으며 구글 역시 발전은 하고 있지만 “기계 번역 문제는 해결되지 않았다”고 말했다.

그러나 노르빅은 지난 달 시드니의 UNSW에서 이러한 기술은 지속적인 개선을 통해 “인간 수준에 근접해지는 중”이라고 말했다.

기계 번역이 인간 번역가를 앞지를 수 있다 해도 그 결과는 여전히 완벽함과는 거리가 멀다.

노르빅은 “우리가 발견한 사항 중 하나는 인간의 번역 수준이 항상 그렇게 좋지는 않다는 점이다. 인간 번역가도 실수를 한다. 마감을 지키기 위해 작업을 서두르거나 원문을 이해하지 못해 틀린 번역을 할 수 있기 때문이다. 따라서 단순히 인간 수준에 이르는 것이 아니라, 인간이 저지르는 모든 실수를 바로잡는 것까지를 목표로 삼아야 할 수도 있다”고 말했다.

노르빅에 따르면 완벽함을 위해서는 기계에 세상 이치에 대한 이해라는 새로운 기술이 필요하다. 노르빅은 “정답을 얻기 위해서는 세상에 대한 이해가 반드시 필요한 경우가 있다”고 말했다.

넘어야 할 벽
노르빅은 이 주장을 뒷받침하기 위한 예를 들었다.

“만일 내가 ‘탁자 위에 유리잔을 떨어트리는 바람에 깨졌다’고 말하면 깨진 것이 유리잔임을 이해할 수 있다. 반면 ‘탁자 위에 볼링 공을 떨어트리는 바람에 깨졌다’고 말한다면 대체로
깨진 것이 탁자라고 이해할 것이다. 이는 언어학과는 관계가 없는 물리학, 실제 세계와 관련된 것이다. 이러한 유형의 상황을 제대로 처리하기 위해서는 기계 번역에게 실제 세계에 대해 가르쳐야 한다”고 말했다.

물론 기계 시스템을 상대로 ‘세상의 이치’를 가르치기는 대단히 복잡한 일이다. 아직 구체적인 접근 방법도 나오지 않았지만 노르빅은 유튜브에서 가져온 시스템을 교육에 포함할 수 있다고 말했다.

노르빅은 “제대로 하기 위해서는 모든 유튜브 비디오를 준비하고 탁자 위에서 유리잔이 어떻게 떨어지는지 알려줘야 한다. 기계 번역은 문장의 구조 외에 이제 세상의 구조도 이해해야 한다. 이 부분은 아직 누구도 시도하지 않았다. 그러나 완벽한 번역을 위해서는 해야 할 일”이라고 말했다.

정확하고 즉각적인 번역은 이를 추구하는 기업뿐만 아니라 모든 인류에게 그 의미가 크다.
저커버그는 “다른 사람의 언어를 이해하면 그 사람과 더 가까워질 수 있다. 나는 보편적 번역이 현실화되기를 고대한다”고 말했다.

노르빅은 “포괄적인 기계 번역에서 기대했던 것보다 훨씬 더 좋은 성과를 거두었다. 서로 소통할 수 없었던 사람들이 쉽게 의사소통을 할 수 있게 됐다. 이를 통해 세계의 문이 열리게 된다는 점이 기대된다”고 말했다. editor@itworld.co.kr


2017.07.17

기계 번역이 직면한 마지막 전선 : 세상 이치에 대한 이해

George Nott | Computerworld
엉뚱한 번역으로 웃음을 주는 코미디부터 중국의 황당한 영문 표지판 시리즈에 이르기까지, 부실한 번역은 오래 전부터 사람들에게 즐거움을 주는 소재다.

최신 기계 번역 역시 조롱을 피해갈 수는 없다. 지난달 지미 팰런 쇼에 출연한 가수 마일리 사이러스는 구글 번역을 통해 영어에서 크로아티아어로 번역한 다음 다시 영어로 재번역한 가사를 붙여 노래를 불렀다.

마일리 사이러스가 에드 시런의 곡 Shape of You를 이중으로 번역해 부른 곡의 가사는 “하지만 내 장기가 떨어져 나왔고 나는 그 시체를 좋아한다” 등 원곡의 의미와는 전혀 동떨어진 재미를 선사했다.

기계 번역은 최근 몇 년 사이 크게 발전했지만 노래 가사의 경우 애초부터 앞뒤가 맞지 않고 문맥도 없는 경우가 많아 기계 번역이 처리하기에 특히 까다롭다.

최신 신경 기계 번역 기술 덕분에 번역 정확도는 인간 번역가에 근접한 수준까지 올라섰다.
이 분야의 선두인 구글은 작년 한해 동안에만 번역 엔진의 오류 수를 절반으로 줄였다고 한다.
그러나 기계 번역의 품질이 인간을 추월할 수 있다고 해도 기계 번역 시스템이 완벽한 결과를 생산하기 위해서는 극복해야 할 문제가 몇 가지 남아 있다.

구글 연구 이사 피터 노르빅은 기계 번역이 그 목표에 도달하기 위해서는 언어에 대한 방대한 지식 외에 “세상의 이치를 이해하는 능력”도 필요하다고 말한다.



바벨을 넘어
현재 널리 사용되는 기계 번역의 시초는 1997년 알타비스타(AltaVista)의 바벨피시(Babelfish, 더글라스 애덤스의 ‘은하수를 여행하는 히치하이커를 위한 안내서’에 나오는 생명체의 이름으로, 귀를 갖다 대면 어느 언어로 된 말이라도 즉시 이해할 수 있음)다.

바벨피시, 구글 번역, 마이크로소프트 번역과 같은 주요 서비스는 오랫동안 통계적 기계 번역(Statistical Machine Translation, SMT)이라는 방법을 사용했다. 구글의 경우 구문 기반 기계 번역이라는 형태의 SMT를 사용한다.

이 방법은 인간이 이미 번역한 방대한 양의 콘텐츠를 흡수한다. 기계는 통계적인 분석을 사용해서 패턴을 찾고 이 패턴으로 언어를 ‘학습’한다.

이름에서 알 수 있듯이 구문 기반 기계 번역은 전체 문장이 부족하더라도 연속된 단어 뭉치를 사용해 작동한다.

최근 기계 번역 엔진은 인공 신경망을 사용하기 시작하면서 전체 입력 문장을 번역 단위로 계산하는 신경 기계 번역(Neural Machine Translatio, NMT)이 부상하고 있다.

구글의 용후이 등은 2016년 연구 논문에서 “문제는 NMT 시스템에는 학습과 번역 추론, 두 가지 측면에서 모두 상당한 연산이 필요하다는 것이다. 이 문제로 인해 정확성과 속도가 중요한 실무 서비스 환경에서 NMT가 활용되지 못하고 있다”고 썼다.

기계 번역 서비스들은 현재 NMT 실용성을 가로막는 가장 큰 장벽, 즉 막대한 연산 리소스와 그 연산에 필요한 시간 문제를 극복하기 시작했다.

구글은 지난해 9월 구글 신경 기계 번역(Google Neural Machine Translation, GNMT) 시스템’을 출범했다. 구글은 발표문에서 GNMT가 ‘첨단 학습 기술을 활용해 기계 번역 품질을 대대적으로 개선했다”고 밝혔다.

GNMT는 위키피디아 및 뉴스 웹사이트 샘플 문장에 대한 GNMT와 SMT 번역을 비교하는 방법을 사용해 번역 오류를 55% 이상, 일부 주요 언어에서는 최대 85%까지 줄였다.

지난해 11월에는 마이크로소프트도 NMT를 도입하면서 “SMT 기술에 비해 훨씬 더 개선된 번역 품질을 제공”한다고 발표했다.

CNBC 보도에 따르면 아마존 웹 서비스도 AI에 대한 그동안의 연구를 바탕으로 올해 11월부터 기계 번역 서비스를 제공할 예정이며 NMT를 사용할 가능성이 높다. 페이스북의 마크 주커버그는 지난 5월 NMT와는 약간 다른 방식의 합성곱(convolutional) 신경망을 사용하는 페이스북의 기계 번역 연구에 대해 밝혔다. 주커버그는 페이스북 페이지에 “페이스북의 AI 연구 팀은 새로운 신경망을 사용해 지금 방법보다 9배 더 빠르면서 더욱 정확한 번역을 실현했다”고 썼다.

한계는 여전히 있다. 마이크로소프트는 신경망 사용이 “미래의 개선을 위한 첫 걸음일 뿐”이라고 밝혔으며 구글 역시 발전은 하고 있지만 “기계 번역 문제는 해결되지 않았다”고 말했다.

그러나 노르빅은 지난 달 시드니의 UNSW에서 이러한 기술은 지속적인 개선을 통해 “인간 수준에 근접해지는 중”이라고 말했다.

기계 번역이 인간 번역가를 앞지를 수 있다 해도 그 결과는 여전히 완벽함과는 거리가 멀다.

노르빅은 “우리가 발견한 사항 중 하나는 인간의 번역 수준이 항상 그렇게 좋지는 않다는 점이다. 인간 번역가도 실수를 한다. 마감을 지키기 위해 작업을 서두르거나 원문을 이해하지 못해 틀린 번역을 할 수 있기 때문이다. 따라서 단순히 인간 수준에 이르는 것이 아니라, 인간이 저지르는 모든 실수를 바로잡는 것까지를 목표로 삼아야 할 수도 있다”고 말했다.

노르빅에 따르면 완벽함을 위해서는 기계에 세상 이치에 대한 이해라는 새로운 기술이 필요하다. 노르빅은 “정답을 얻기 위해서는 세상에 대한 이해가 반드시 필요한 경우가 있다”고 말했다.

넘어야 할 벽
노르빅은 이 주장을 뒷받침하기 위한 예를 들었다.

“만일 내가 ‘탁자 위에 유리잔을 떨어트리는 바람에 깨졌다’고 말하면 깨진 것이 유리잔임을 이해할 수 있다. 반면 ‘탁자 위에 볼링 공을 떨어트리는 바람에 깨졌다’고 말한다면 대체로
깨진 것이 탁자라고 이해할 것이다. 이는 언어학과는 관계가 없는 물리학, 실제 세계와 관련된 것이다. 이러한 유형의 상황을 제대로 처리하기 위해서는 기계 번역에게 실제 세계에 대해 가르쳐야 한다”고 말했다.

물론 기계 시스템을 상대로 ‘세상의 이치’를 가르치기는 대단히 복잡한 일이다. 아직 구체적인 접근 방법도 나오지 않았지만 노르빅은 유튜브에서 가져온 시스템을 교육에 포함할 수 있다고 말했다.

노르빅은 “제대로 하기 위해서는 모든 유튜브 비디오를 준비하고 탁자 위에서 유리잔이 어떻게 떨어지는지 알려줘야 한다. 기계 번역은 문장의 구조 외에 이제 세상의 구조도 이해해야 한다. 이 부분은 아직 누구도 시도하지 않았다. 그러나 완벽한 번역을 위해서는 해야 할 일”이라고 말했다.

정확하고 즉각적인 번역은 이를 추구하는 기업뿐만 아니라 모든 인류에게 그 의미가 크다.
저커버그는 “다른 사람의 언어를 이해하면 그 사람과 더 가까워질 수 있다. 나는 보편적 번역이 현실화되기를 고대한다”고 말했다.

노르빅은 “포괄적인 기계 번역에서 기대했던 것보다 훨씬 더 좋은 성과를 거두었다. 서로 소통할 수 없었던 사람들이 쉽게 의사소통을 할 수 있게 됐다. 이를 통해 세계의 문이 열리게 된다는 점이 기대된다”고 말했다. editor@itworld.co.kr


X