2019.04.16

빅스비의 20가지 질문 테스트, "구글 어시스턴트나 알렉사보다 똑똑한가"

Fergus Halliday | PCWorld
새로운 갤럭시 스마트폰을 내놓으면서 삼성은 계속해서 자사의 인공지능 비서기능인 빅스비의 잠재력과 성능에 대해 자랑하고 있다. 마침 새로운 갤럭시 S10과 S10+이 출시됐으므로 본지는 빅스비의 성능을 테스트해 얼마나 똑똑한 지 알아보기로 했다.
 
ⓒ Samsung
 
본지는 이전에 시리, 구글 어시스턴트 및 아마존 알렉사를 비교했던 방식대로 20가지 질문을 가지고 테스트했다. 이런 방법이 아주 과학적인 것은 아니지만 삼성 빅스비의 질의 응답 능력을 측정하는 데 아주 합리적인 방식일 것이다. 

다시 한 번 말하지만, 질문을 선정하는 데 엄격하고 뚜렷한 기준이 있는 것은 아니다. 말 그대로 필자가 생각하기에 적어도 어떤 대답을 기대할 만하다고 생각하는 질문 20개를 선정했다. 단순히 빅스비가 제시하는 대답이 정확한 지를 평가하는 것뿐 아니라 질문 자체의 성질을 이해했는 지도 측정하는 것이 이번 테스트의 목표다. 즉, 일반 사용자들이 던질 만한 일상적인 질문들에 대한 빅스비의 응답 능력을 보여주는 것이 이번 테스트의 핵심이다. 빅스비를 불러 다음과 같은 질문을 했다. 
ⓒ Samsung


빅스비와의 질문답 

1. 영화 블랙 팬서의 감독은 누구지? “블랙 팬서의 감독은 라이언 쿠글러입니다.” 정답!

2. 호주의 마지막 총리는 누구지? 처음에 빅스비는 이 질문에 문제를 좀 보였다. 빅스비는 내 질문을 “누가 실종된 호주 총리지?”라고 잘못 이해하고 해롤드 홀트(서핑 중 실종된 전 호주 총리)라고 대답했다. 결국 나는 “누가 호주 총리지?”라고 질문을 바꿔야 했으며, 빅스비는 “스콧 모리슨이 호주 총리입니다”라고 말했다. 만족스럽지는 않지만 빅스비에 점수를 주기로 했다.

3. '불과 얼음의 노래'는 총 몇 권이지? 빅스비는 날씨를 알려줬다(그것도 화씨로). 이 질문은 실패.

4. 삼성 갤럭시 S8의 RAM 용량은 얼마지? 빅스비는 이 질문에 말로 응답하지 않았다. 대신 구글 검색을 띄워서 6GB라는 답을 보여주었다. 하지만, 정답이라고 보기는 어렵다. 특별 한정판은 6GB를 가진 것도 있지만 보통의 S8은 4GB에 불과하기 때문이다. 점수는 주지 않기로 했다.
  
5. 1바이트는 몇 비트지? “8비트입니다.” 정답!

6. 퀀텀 컴퓨팅이 뭐야? 빅스비는 위키피디아에 나와있는 퀀텀 컴퓨팅의 정의를 읽어주었고 본지는 정답으로 인정했다.

7. 플라스틱 용기를 전자레인지에 돌려도 안전하니? 빅스비는 인터넷에서 아주 적절한 대답을 찾아냈다. 이 또한 점수를 주기로 했다. 

8. '말콤네 좀 말려줘(Malcolm In the Middle)'의 주연은 누구지? “프랭키 무니즈입니다.” 정답!

9. (둘 다 방수를 뜻하기는 하지만) 워터프루프와 워터 레지스턴트의 차이는 뭐지? 빅스비는 인터넷에서 아주 적절한 대답을 찾아냈다. 본지는 점수를 주기로 했다.
 
10. 타즈매니아 섬의 인구는? “2014년 타즈매니아의 인구는 5만 1,500입니다.” 정답!

11. 동계 올림픽에서 무슨 사건들이 있었지? “질문을 이해 못하겠습니다.” 점수 없음.

12. 커피에 설탕을 얼마나 넣어야 할까? 빅스비는 인터넷에서 아주 적절한 대답을 찾아냈다. 정답! 

13. 맬버른까지 항공료는 얼마나 해?  “얼마인 지 알 수 없지만 특정 항공편을 조회해 볼 수는 있습니다.” 점수 없음.

14. (갤럭시 광고에 사용된) ‘골드 온 더 실링(Gold on the Ceiling)’은 누가 작곡했어? 본지는 이 질문을 거의 12번도 넘게 시도했지만 매번 삼성 뮤직으로 넘어가기만 할 뿐 유용한 답을 얻지 못했다. 따라서, 점수를 주지 않았다. 

15. 해변에 갈 때는 선크림을 얼마나 발라야 해? 빅스비는 날씨를 알려줬다. (그것도 화씨로). 이 질문은 실패.

16. 망가진 전등을 어떻게 고치지? 빅스비는 스마트씽즈(SmartThings) 앱의 플러그인을 실행하고는 “제가 할 수 없는 일 같습니다.”라고 말했다. 점수 없음.

17.  ‘제시카 존스’의 새 시즌은 언제 시작하지? 빅스비는 대답이 담긴 온라인 소스 몇 가지를 보여줬지만 말로 그 정보를 읽어주지는 않았다. 본지는 잠정적으로 점수를 부여했다. 

18. 목이 아픈데 땅콩 버터가 도움이 될까? “무슨 말인지 모르겠습니다.” 점수 없음.

19. 마이크로소프트의 스마트 스피커는 이름이 뭐야? 빅스비는 스마트씽즈를 실행시키고는 “미안합니다만, 그 기능은 지금 지원되지 않습니다. 더 나은 경험을 위해서 계속 학습하겠습니다”라고 말했다. 점수 없음.

20. 2015년 오스카 최우수 작품상은 누가 탔어? “2015년 아카데미 작품상은 버드맨입니다.” 문장이 좀 이상하지만 정답이긴 하다.
 

전체 점수는 11/20, 시리, 알렉사나 구글 어시스턴트와 비교

지난해 같은 질문들을 가지고 테스트를 했을 때 시리(7점), 알렉사(8점), 구글 어시스턴트(13점)가 기록한 점수들을 감안해 볼 때 빅스비의 11점은 2위에 해당한다. 다만, 주의할 점은 그 때 이후로 이들 인공지능 비서들을 다시 테스트하지 않았다는 것이다. 빅스비도 그렇지만 모든 스마트 어시스턴트들은 더욱 개선됐을 것이다. 

그럼에도, 빅스비에 있어서 어느 정도 진전이 있었다는 것은 괜찮은 신호다. 삼성의 빅스비는 아직 구글 어시스턴트보다는 못하다. 하지만, 다른 모든 스마트 어시스턴트들도 마찬가지다. 빅스비는 구글 어시스턴트가 가지고 있는 폭넓은 핵심 역량이나 알렉사 생태계가 제공하는 풍부한 서드파티 기술을 보유하고 있지는 않다. 하지만, 빅스비의 질의응답에 대한 성능은 놀라울 만큼 좋다. 다만, 서드파티 API와 플러그인을 너무 자주 급하게 불러내다가 오작동하지 않기만을 바랄 뿐이다. editor@itworld.co.kr  


2019.04.16

빅스비의 20가지 질문 테스트, "구글 어시스턴트나 알렉사보다 똑똑한가"

Fergus Halliday | PCWorld
새로운 갤럭시 스마트폰을 내놓으면서 삼성은 계속해서 자사의 인공지능 비서기능인 빅스비의 잠재력과 성능에 대해 자랑하고 있다. 마침 새로운 갤럭시 S10과 S10+이 출시됐으므로 본지는 빅스비의 성능을 테스트해 얼마나 똑똑한 지 알아보기로 했다.
 
ⓒ Samsung
 
본지는 이전에 시리, 구글 어시스턴트 및 아마존 알렉사를 비교했던 방식대로 20가지 질문을 가지고 테스트했다. 이런 방법이 아주 과학적인 것은 아니지만 삼성 빅스비의 질의 응답 능력을 측정하는 데 아주 합리적인 방식일 것이다. 

다시 한 번 말하지만, 질문을 선정하는 데 엄격하고 뚜렷한 기준이 있는 것은 아니다. 말 그대로 필자가 생각하기에 적어도 어떤 대답을 기대할 만하다고 생각하는 질문 20개를 선정했다. 단순히 빅스비가 제시하는 대답이 정확한 지를 평가하는 것뿐 아니라 질문 자체의 성질을 이해했는 지도 측정하는 것이 이번 테스트의 목표다. 즉, 일반 사용자들이 던질 만한 일상적인 질문들에 대한 빅스비의 응답 능력을 보여주는 것이 이번 테스트의 핵심이다. 빅스비를 불러 다음과 같은 질문을 했다. 
ⓒ Samsung


빅스비와의 질문답 

1. 영화 블랙 팬서의 감독은 누구지? “블랙 팬서의 감독은 라이언 쿠글러입니다.” 정답!

2. 호주의 마지막 총리는 누구지? 처음에 빅스비는 이 질문에 문제를 좀 보였다. 빅스비는 내 질문을 “누가 실종된 호주 총리지?”라고 잘못 이해하고 해롤드 홀트(서핑 중 실종된 전 호주 총리)라고 대답했다. 결국 나는 “누가 호주 총리지?”라고 질문을 바꿔야 했으며, 빅스비는 “스콧 모리슨이 호주 총리입니다”라고 말했다. 만족스럽지는 않지만 빅스비에 점수를 주기로 했다.

3. '불과 얼음의 노래'는 총 몇 권이지? 빅스비는 날씨를 알려줬다(그것도 화씨로). 이 질문은 실패.

4. 삼성 갤럭시 S8의 RAM 용량은 얼마지? 빅스비는 이 질문에 말로 응답하지 않았다. 대신 구글 검색을 띄워서 6GB라는 답을 보여주었다. 하지만, 정답이라고 보기는 어렵다. 특별 한정판은 6GB를 가진 것도 있지만 보통의 S8은 4GB에 불과하기 때문이다. 점수는 주지 않기로 했다.
  
5. 1바이트는 몇 비트지? “8비트입니다.” 정답!

6. 퀀텀 컴퓨팅이 뭐야? 빅스비는 위키피디아에 나와있는 퀀텀 컴퓨팅의 정의를 읽어주었고 본지는 정답으로 인정했다.

7. 플라스틱 용기를 전자레인지에 돌려도 안전하니? 빅스비는 인터넷에서 아주 적절한 대답을 찾아냈다. 이 또한 점수를 주기로 했다. 

8. '말콤네 좀 말려줘(Malcolm In the Middle)'의 주연은 누구지? “프랭키 무니즈입니다.” 정답!

9. (둘 다 방수를 뜻하기는 하지만) 워터프루프와 워터 레지스턴트의 차이는 뭐지? 빅스비는 인터넷에서 아주 적절한 대답을 찾아냈다. 본지는 점수를 주기로 했다.
 
10. 타즈매니아 섬의 인구는? “2014년 타즈매니아의 인구는 5만 1,500입니다.” 정답!

11. 동계 올림픽에서 무슨 사건들이 있었지? “질문을 이해 못하겠습니다.” 점수 없음.

12. 커피에 설탕을 얼마나 넣어야 할까? 빅스비는 인터넷에서 아주 적절한 대답을 찾아냈다. 정답! 

13. 맬버른까지 항공료는 얼마나 해?  “얼마인 지 알 수 없지만 특정 항공편을 조회해 볼 수는 있습니다.” 점수 없음.

14. (갤럭시 광고에 사용된) ‘골드 온 더 실링(Gold on the Ceiling)’은 누가 작곡했어? 본지는 이 질문을 거의 12번도 넘게 시도했지만 매번 삼성 뮤직으로 넘어가기만 할 뿐 유용한 답을 얻지 못했다. 따라서, 점수를 주지 않았다. 

15. 해변에 갈 때는 선크림을 얼마나 발라야 해? 빅스비는 날씨를 알려줬다. (그것도 화씨로). 이 질문은 실패.

16. 망가진 전등을 어떻게 고치지? 빅스비는 스마트씽즈(SmartThings) 앱의 플러그인을 실행하고는 “제가 할 수 없는 일 같습니다.”라고 말했다. 점수 없음.

17.  ‘제시카 존스’의 새 시즌은 언제 시작하지? 빅스비는 대답이 담긴 온라인 소스 몇 가지를 보여줬지만 말로 그 정보를 읽어주지는 않았다. 본지는 잠정적으로 점수를 부여했다. 

18. 목이 아픈데 땅콩 버터가 도움이 될까? “무슨 말인지 모르겠습니다.” 점수 없음.

19. 마이크로소프트의 스마트 스피커는 이름이 뭐야? 빅스비는 스마트씽즈를 실행시키고는 “미안합니다만, 그 기능은 지금 지원되지 않습니다. 더 나은 경험을 위해서 계속 학습하겠습니다”라고 말했다. 점수 없음.

20. 2015년 오스카 최우수 작품상은 누가 탔어? “2015년 아카데미 작품상은 버드맨입니다.” 문장이 좀 이상하지만 정답이긴 하다.
 

전체 점수는 11/20, 시리, 알렉사나 구글 어시스턴트와 비교

지난해 같은 질문들을 가지고 테스트를 했을 때 시리(7점), 알렉사(8점), 구글 어시스턴트(13점)가 기록한 점수들을 감안해 볼 때 빅스비의 11점은 2위에 해당한다. 다만, 주의할 점은 그 때 이후로 이들 인공지능 비서들을 다시 테스트하지 않았다는 것이다. 빅스비도 그렇지만 모든 스마트 어시스턴트들은 더욱 개선됐을 것이다. 

그럼에도, 빅스비에 있어서 어느 정도 진전이 있었다는 것은 괜찮은 신호다. 삼성의 빅스비는 아직 구글 어시스턴트보다는 못하다. 하지만, 다른 모든 스마트 어시스턴트들도 마찬가지다. 빅스비는 구글 어시스턴트가 가지고 있는 폭넓은 핵심 역량이나 알렉사 생태계가 제공하는 풍부한 서드파티 기술을 보유하고 있지는 않다. 하지만, 빅스비의 질의응답에 대한 성능은 놀라울 만큼 좋다. 다만, 서드파티 API와 플러그인을 너무 자주 급하게 불러내다가 오작동하지 않기만을 바랄 뿐이다. editor@itworld.co.kr  


X