2015.10.02

“구글 나우 vs. 코타나 vs. 하운드” 안드로이드용 가상 비서 비교 분석

Dereck Walter | Greenbot
안드로이드 폰을 음성으로 제어하는 디지털 비서는 구글이 개발한 서비스만 있는 것이 아니다. 2개의 다른 서비스가 뛰어난 음성 검색 및 명령 수행 성능으로 사용자들을 구글에서 뺏어오는 것을 목표로 노력 중이다.

그 중 하나는 마이크로소프트의 코타나(Cortana)로, 빙(Bing)과 기타 마이크로소프트 제품과 깊이 연결되어 있다. 또 하나는 음악 식별 앱으로 유명한 사운드하운드(Soundhound)의 하운드(Hound)이다.

이들이 정말 구글 나우(Google Now)를 넘어설 수 있을까? 안드로이드의 최고 기능 중 하나는 휴대폰에 “오케이 구글(OK Google)”이라고 말해 짧고 분명한 응답을 얻는 것이다. 표면적으로는 구글 외에 다른 검색 엔진을 사용하는 것은 애초에 안드로이드를 사용하는 목적과 반대되는 것처럼 보이기도 한다.

하지만 안드로이드는 개방성을 바탕으로 만들어졌기 때문에, 다른 서비스를 테스트하지 말아야 할 이유는 없다. 공평히 말하자면, 두 도전자들은 모두 베타 단계(하운드는 초대가 필요함)이며, 구글과 같은 ‘홈 어드밴티지’가 없다.

그럼에도 불구하고, 경쟁 측면에서는 핑계가 되지 않을 것이다. 이 기사를 읽고 홈 화면에 이 도전자들을 위한 자리를 만들어줄 필요가 있을지 검토해보자.

조사 방법
디지털 비서가 대답할만한 여러가지 주제를 대표하는 질문 100가지를 만들었다. 이 중 어떤 것은 구글이 이미 수행하고 있는 음성 명령인데, 하운드와 코타나가 이를 어떻게 처리하는지 알고 싶었다.

다른 질문들은 조금 더 어려울 수 있는데, 음성 검색 앱들이 어디까지 가능한 지를 보고 싶어서 선정한 질문들이다. 하운드나 코타나 모두 이 중 상당수의 질문에 답변을 실패했으나, 몇 가지는 놀라운 결과를 보였다.

문맥을 담은 질문도 준비했다. 예를 들어서 “근처 맛있는 스시집은 어디?”라고 묻고, 이어서 “그 집이 언제까지 열지?”라고 추가 질문을 했다. 이것은 각 서비스가 과거의 질문을 얼마나 잘 기억하고 있는지, ‘그 집(it)’같은 대명사가 가리키는 바를 얼마나 잘 이해하는지 알기 위한 것이다.

모든 질문을 음성으로 하면서, 제대로 된 정보를 ‘음성’으로 듣기를 바랐다. 이 점을 염두에 두고, 다음을 기준 삼아 각 질문에 대한 점수를 매겼다.

♦ 3점 - 완벽! 질문에 직접관련있는 답변을 상세하게 ‘음성’으로 했음
♦ 2점 - 좋음. 명령 수행이나 질문에 대한 답이 괜찮았음. 상세하지 않거나, 음성 피드백이 아님
♦ 1점 - 단순 웹 검색만 수행함
♦ 0점 - 실패. 질문을 이해하지 못하거나 관련없는 결과를 보여줌.

각 질문에 대한 점수를 합해서, 각 서비스의 성적을 평가했다.

구글이 큰 차이로 가장 높은 점수를 얻었다.

결론적으로, 전반적으로 구글 나우가 큰 차이로 가장 성적이 좋았다. 하지만 여러 단계를 지나는 문맥 질문을 처리하는 데 있어 하운드의 능력이 상당했다. 코타나는 구글 나우 스타일의 뉴스와 정보가 담긴 피드가 만족스러웠고, 몇가지 면에서는 구글을 앞서기도 했다.

테스트를 위해서 안드로이드의 기본 검색 앱을 다르게 설정했다. 이 방법을 통해서 홈 버튼을 눌렀을 때 구글, 코타나, 하운드 중에서 원하는 것을 고를 수 있다.

전반적인 결과
평균 점수로 봤을 때, 구글은 완벽한 3점은 얻지 못했으나, 유용한 정보를 알려주어 최소한 2점을 얻었다. 평균에서 코타나가 가장 낮은 점수를 기록했는데, 테스트 결과 다소 불안정한 성능을 보였다. 자주 질문을 반복해야 했으며, 어떤 경우에는 앱을 재시작을 했어야 했다.

평균 점수를 보면, 구글이 보통 좋은 결과를 보인 반면, 코타나는 자주 실패했음을 알 수 있다.

모든 질문과 각 질문에 대한 답변은 링크된 구글 스프레드시트에서 확인할 수 있다.  몇 가지 특이 사항에 대한 메모가 포함되어 있다. 그리고 링크된 구글 포토 갤러리에서 답변과 관련된 스크린샷을 확인할 수 있다. 

세 서비스의 접근법을 극명히 보여주는 질문은 “삶의 의미가 무엇인가(What is the meaning of life)?”였다.


“삶의 의미가 무엇인가”라는 질문에 대한 답은 세 서비스의 접근법 차이를 보여준다.(확대보기)

구글은 사전에서 ‘life’라는 단어의 뜻을 찾아주고, 위키피디아 링크를 제공했다. 코나다와 하운드는 조금 더 재미있었다. 답변에 개인화 요소를 더 넣어, 자연어 처리에 더 나은 모습을 보였다. 코타나는 심지어 이름을 되묻고 답변을 주었다.

지식의 왕 구글
구글이 검색과 동의어로 사용되는 이유가 있다. 평균 점수 3점을 얻지는 못했으나 보통 유용한 정보를 제공했다. 의심의 여지없이 구글이 최근 혁신한 음성 검색 기능이 중요한 역할을 했다.

이러한 구글 검색 능력과 구글 나우의 결합은 훌륭하다. 구체적인 스포츠 경기 결과를 검색하면 구글 나우 카드로 해당 경기의 업데이트 정보가 표시된다. 비행기 표를 예약하면 구글 나우가 끊임없이 이를 상기시켜준다.


구글은 여전히 검색의 제왕이지만, 특정 질문에는 실수도 조금 있었다. (확대보기)

구글이 때때로 실수를 저지르는 부분은 자연어 처리였다. 예를 들어서, “요가 비디오를 보여줘(show me yoga videos)”라는 명령에 광고가 가득한 페이지를 표시해주었다. 이 질문을 하면서 구글이 몸을 이리저리 꼬게 만드는 방법을 알려주는 동영상 목록을 표시해줄 것이라고 기대했다.

구글은 직접적인 질문에 강한 모습을 보였다. 인간성이 다소 부족한 구글의 답변 로봇은 인터넷에 모여있는 굉장히 많은 정보로 이러한 단점을 상쇄시킨다. 동지(冬至)나 쿠엔틴 타란티노 감독의 나이, 비행기의 상태 등에 대한 질문에 정확한 답변을 제공했다.

그래도 가끔은 구글도 즐길 줄 아는데, 동전을 뒤집거나 굴릴 수 있는지 물어볼 수 있다. 또한 문맥 질문 중 하나를 잘 처리했다. 스페이스 니들(Space Needle, 시애틀의 관광 명소)의 위치를 물어본 후 가는 길을 물었을 때 정확한 방법을 알려주었다.



2015.10.02

“구글 나우 vs. 코타나 vs. 하운드” 안드로이드용 가상 비서 비교 분석

Dereck Walter | Greenbot
안드로이드 폰을 음성으로 제어하는 디지털 비서는 구글이 개발한 서비스만 있는 것이 아니다. 2개의 다른 서비스가 뛰어난 음성 검색 및 명령 수행 성능으로 사용자들을 구글에서 뺏어오는 것을 목표로 노력 중이다.

그 중 하나는 마이크로소프트의 코타나(Cortana)로, 빙(Bing)과 기타 마이크로소프트 제품과 깊이 연결되어 있다. 또 하나는 음악 식별 앱으로 유명한 사운드하운드(Soundhound)의 하운드(Hound)이다.

이들이 정말 구글 나우(Google Now)를 넘어설 수 있을까? 안드로이드의 최고 기능 중 하나는 휴대폰에 “오케이 구글(OK Google)”이라고 말해 짧고 분명한 응답을 얻는 것이다. 표면적으로는 구글 외에 다른 검색 엔진을 사용하는 것은 애초에 안드로이드를 사용하는 목적과 반대되는 것처럼 보이기도 한다.

하지만 안드로이드는 개방성을 바탕으로 만들어졌기 때문에, 다른 서비스를 테스트하지 말아야 할 이유는 없다. 공평히 말하자면, 두 도전자들은 모두 베타 단계(하운드는 초대가 필요함)이며, 구글과 같은 ‘홈 어드밴티지’가 없다.

그럼에도 불구하고, 경쟁 측면에서는 핑계가 되지 않을 것이다. 이 기사를 읽고 홈 화면에 이 도전자들을 위한 자리를 만들어줄 필요가 있을지 검토해보자.

조사 방법
디지털 비서가 대답할만한 여러가지 주제를 대표하는 질문 100가지를 만들었다. 이 중 어떤 것은 구글이 이미 수행하고 있는 음성 명령인데, 하운드와 코타나가 이를 어떻게 처리하는지 알고 싶었다.

다른 질문들은 조금 더 어려울 수 있는데, 음성 검색 앱들이 어디까지 가능한 지를 보고 싶어서 선정한 질문들이다. 하운드나 코타나 모두 이 중 상당수의 질문에 답변을 실패했으나, 몇 가지는 놀라운 결과를 보였다.

문맥을 담은 질문도 준비했다. 예를 들어서 “근처 맛있는 스시집은 어디?”라고 묻고, 이어서 “그 집이 언제까지 열지?”라고 추가 질문을 했다. 이것은 각 서비스가 과거의 질문을 얼마나 잘 기억하고 있는지, ‘그 집(it)’같은 대명사가 가리키는 바를 얼마나 잘 이해하는지 알기 위한 것이다.

모든 질문을 음성으로 하면서, 제대로 된 정보를 ‘음성’으로 듣기를 바랐다. 이 점을 염두에 두고, 다음을 기준 삼아 각 질문에 대한 점수를 매겼다.

♦ 3점 - 완벽! 질문에 직접관련있는 답변을 상세하게 ‘음성’으로 했음
♦ 2점 - 좋음. 명령 수행이나 질문에 대한 답이 괜찮았음. 상세하지 않거나, 음성 피드백이 아님
♦ 1점 - 단순 웹 검색만 수행함
♦ 0점 - 실패. 질문을 이해하지 못하거나 관련없는 결과를 보여줌.

각 질문에 대한 점수를 합해서, 각 서비스의 성적을 평가했다.

구글이 큰 차이로 가장 높은 점수를 얻었다.

결론적으로, 전반적으로 구글 나우가 큰 차이로 가장 성적이 좋았다. 하지만 여러 단계를 지나는 문맥 질문을 처리하는 데 있어 하운드의 능력이 상당했다. 코타나는 구글 나우 스타일의 뉴스와 정보가 담긴 피드가 만족스러웠고, 몇가지 면에서는 구글을 앞서기도 했다.

테스트를 위해서 안드로이드의 기본 검색 앱을 다르게 설정했다. 이 방법을 통해서 홈 버튼을 눌렀을 때 구글, 코타나, 하운드 중에서 원하는 것을 고를 수 있다.

전반적인 결과
평균 점수로 봤을 때, 구글은 완벽한 3점은 얻지 못했으나, 유용한 정보를 알려주어 최소한 2점을 얻었다. 평균에서 코타나가 가장 낮은 점수를 기록했는데, 테스트 결과 다소 불안정한 성능을 보였다. 자주 질문을 반복해야 했으며, 어떤 경우에는 앱을 재시작을 했어야 했다.

평균 점수를 보면, 구글이 보통 좋은 결과를 보인 반면, 코타나는 자주 실패했음을 알 수 있다.

모든 질문과 각 질문에 대한 답변은 링크된 구글 스프레드시트에서 확인할 수 있다.  몇 가지 특이 사항에 대한 메모가 포함되어 있다. 그리고 링크된 구글 포토 갤러리에서 답변과 관련된 스크린샷을 확인할 수 있다. 

세 서비스의 접근법을 극명히 보여주는 질문은 “삶의 의미가 무엇인가(What is the meaning of life)?”였다.


“삶의 의미가 무엇인가”라는 질문에 대한 답은 세 서비스의 접근법 차이를 보여준다.(확대보기)

구글은 사전에서 ‘life’라는 단어의 뜻을 찾아주고, 위키피디아 링크를 제공했다. 코나다와 하운드는 조금 더 재미있었다. 답변에 개인화 요소를 더 넣어, 자연어 처리에 더 나은 모습을 보였다. 코타나는 심지어 이름을 되묻고 답변을 주었다.

지식의 왕 구글
구글이 검색과 동의어로 사용되는 이유가 있다. 평균 점수 3점을 얻지는 못했으나 보통 유용한 정보를 제공했다. 의심의 여지없이 구글이 최근 혁신한 음성 검색 기능이 중요한 역할을 했다.

이러한 구글 검색 능력과 구글 나우의 결합은 훌륭하다. 구체적인 스포츠 경기 결과를 검색하면 구글 나우 카드로 해당 경기의 업데이트 정보가 표시된다. 비행기 표를 예약하면 구글 나우가 끊임없이 이를 상기시켜준다.


구글은 여전히 검색의 제왕이지만, 특정 질문에는 실수도 조금 있었다. (확대보기)

구글이 때때로 실수를 저지르는 부분은 자연어 처리였다. 예를 들어서, “요가 비디오를 보여줘(show me yoga videos)”라는 명령에 광고가 가득한 페이지를 표시해주었다. 이 질문을 하면서 구글이 몸을 이리저리 꼬게 만드는 방법을 알려주는 동영상 목록을 표시해줄 것이라고 기대했다.

구글은 직접적인 질문에 강한 모습을 보였다. 인간성이 다소 부족한 구글의 답변 로봇은 인터넷에 모여있는 굉장히 많은 정보로 이러한 단점을 상쇄시킨다. 동지(冬至)나 쿠엔틴 타란티노 감독의 나이, 비행기의 상태 등에 대한 질문에 정확한 답변을 제공했다.

그래도 가끔은 구글도 즐길 줄 아는데, 동전을 뒤집거나 굴릴 수 있는지 물어볼 수 있다. 또한 문맥 질문 중 하나를 잘 처리했다. 스페이스 니들(Space Needle, 시애틀의 관광 명소)의 위치를 물어본 후 가는 길을 물었을 때 정확한 방법을 알려주었다.



X