“나랑 스무고개 할래?” 클로바X·바드·빙챗에 물으니…

챗GPT, 빙챗, 바드와 같은 생성형 AI 챗봇이 나올 때마다 못내 아쉬웠다. 아이폰의 국내 출시를 손꼽아 기다리는 것처럼 한국어가 지원되는 날을 손꼽아 기다려야 했기 때문이다. 3가지 생성형 AI 모두 현재 한국어를 지원하지만 또 하나의 아쉬운 점이 있다. 이들 생성형 AI 모델이 학습한 방대한 양의 데이터가 대부분 영어라는 점이다.
 

네이버가 글로벌 빅테크 기업이 주도하는 생성형 AI 시장에 '한국어 특화 AI'로 도전장을 내밀었다. 최근 네이버는 자체 LLM 하이퍼클로바(HyperCLOVA)를 고도화한 하이퍼클로바X(HyperCLOVA X)를 공개하고 이를 접목한 AI 챗봇 서비스 클로바X(CLOVA X) 베타 버전을 출시했다. 하이퍼클로바의 학습 데이터는 네이버가 보유한 지식인, 뉴스, 블로그 데이터 등 97%가 한국어다. 

올 초 PCWorld에서 챗GPT와 빙챗, 바드를 비교한 기사(2점차로 승패 갈렸다…'ChatGPT vs 빙 vs 바드' 박빙 승부)에서는 간발의 차이로 빙챗이 승리했다. 한국어로 하는 대화에서는 어떤 결과를 보일까? 여기서는 검색 엔진을 보유한 구글의 바드와 마이크로소프트의 빙챗을 클로바X와 비교했다. 판단은 주관적일 수 있으므로 프롬프트 답변도 공개한다. 사진 순서는 클로바X, 바드, 빙챗 순이다.

최신 정보 : 2023년 9월 10일 한국 프로야구 경기 결과

승자 : 빙챗

챗봇들에게 이틀 전 진행된 한국 프로야구 경기 결과를 물었다. 챗GPT는 최신 정보를 제공하는 웹 브라우징 기능을 유료 요금제 사용자에게만 제공하는데, 챗GPT와 같은 GPT-4를 탑재한 빙챗은 무료 사용자에게도 웹 브라우징을 제공한다. 그럴듯한 답변을 제공한 것은 빙챗이 유일했다. 클로바X는 "현재 결과에 대한 정보를 드릴 수 없다"라고, 바드는 "결과를 알 수 없다"라고 답했다. 다만 바드는 구글 검색으로 이어지는 링크를 제공했다.
 

빙챗은 PCWorld 기사에서도 최신 정보 부문에서 우승을 차지했는데, 다만 이번에는 반쪽짜리 우승이었다. 경기 결과를 확인할 수 있는 출처는 정확히 제공했지만, 그날의 경기 결과가 정확하지 않았기 때문이다. 경기 결과는 다음과 같으며, 빙챗의 답변은 사실과 달랐다. 
 

시사 문제 : 독도

승자 : 바드

독도가 어느 나라 땅인지 물었다. 세 챗봇 모두 답변의 첫 문장에서 독도는 대한민국의 땅이라고 답했다. 하지만 우승은 바드에게 돌아갔다. 클로바X와 빙챗은 모두 '일본은 독도를 자신의 영토라고 주장하고 있지만 이는 역사적, 지리적, 국제법적으로 근거가 없는 주장이다'라고만 답변한 반면, 바드는 역사적/지리적/국제법적인 근거를 문단으로 구분해 제법 체계적으로 서술했다. 
 

불확실한 정보 : 행맨 게임의 유래

승자 : 빙챗

단어 맞히기 게임인 행맨(Hangman)의 기원은 불분명하다. 이런 질문에 대한 답변을 제시할 때는 근거 자료를 제시하는 것이 좋다. 빙챗은 어떤 질문을 하든 항상 참고 링크를 공유하며, 클로바X는 선별적으로 출처를 제공한다. 하지만 바드는 모든 질문에서 출처를 제공하지 않는다. 따라서 가장 많은 3가지 출처를 제시한 빙챗의 우승이다. 
 

출처 제공 여부를 떠나서 답변 자체로만 놓고 봐도 우승은 빙챗의 차지다. 빙챗은 행맨 게임의 유래를 가장 다양하게 제공하기도 했지만 기타 부수적인 내용을 제외하고 유래만 간단하게 설명했다. 질문에 대해 다양한 정보를 제공하는 것은 때에 따라 이점이 될 수 있겠지만, 바드의 경우 첫 문단에 1가지 유래를 설명한 이후 게임의 규칙과 다양하게 즐기는 방법을 소개하다가 그다음 문단에서 또다시 유래를 설명하는 등 전체적인 글 구성에서 혼란스러운 모습을 보였다.
 

반면 클로바X는 질문 자체를 이해하지 못한 듯했다. 행맨의 기원은 알려주지 않고 게임 설명과 게임에 내포된 폭력성 문제를 지적하는 답변만 제공했다.

 
정보에 입각한 의견 : 아이폰 vs 갤럭시

승자 : 클로바X와 바드

이번에는 아이폰과 갤럭시의 장단점을 분석해 달라고 요청했다. 클로바X와 바드는 각 스마트폰의 장단점을 일목 요연하게 정리했다. 클로바X의 답변은 2~3가지 장단점을 한 문장으로 간결하게 정리한 것이 특징이며, 바드는 장단점을 각각 4~5가지씩 목록으로 제공하고 구매 시 고려해야 할 요소를 추가로 제시했다.

빙챗은 창의적이게도 아이폰과 갤럭시의 특징을 표로 비교했다. 하지만 '장단점을 비교한 표'라고 하면서 장점만 나열했다는 점이 아쉬웠다. 표 다음에는 줄글 설명이 이어졌는데, 표에 나온 내용을 반복해서 나열한 것이었고 마지막에 단점이 한 문장씩 추가됐다. 적절한 소제목을 붙여 알아보기 쉽게 정리한 클로바X와 바드의 답변이 더 눈에 띈다.
 

복잡한 질문 : 편식하는 아이를 위한 요리 레시피 추천

승자 : 클로바X와 바드

이런 궁금증에 대한 답을 찾으려면 다양한 검색 결과를 조합해야 한다. 빙챗의 답변만 봐도 알 수 있다. 빙챗은 '비타민을 섭취할 수 있을 만한 요리 레시피 추천'을 검색했고 이후 '아이가 싫어함'이라는 정보를 추가로 검색했다. AI 챗봇은 이처럼 여러 맥락을 고려해야 하는 질문에 대한 답을 얻을 때 빛을 발한다.

이번에도 클로바X와 바드가 공동으로 우승했다. 클로바X는 4가지, 바드는 5가지 요리 레시피를 추천하며 각 식재료에 함유된 영양 정보와 조리법을 공유했다. 바드는 한 가지 요리를 다양한 방법으로 조리할 수 있는 방법을 제시했다는 점이 좋았으며, 클로바X는 하나의 레시피를 자세하게 공유한 점이 마음에 들었다. 요리에 익숙한 사람에게는 바드의 답변이, 요리에 익숙하지 않은 사람에게는 클로바X의 답변이 유용할 것이다.

한편 빙챗의 답변은 필자의 요리 실력을 과대평가한 것 같다. '두부와 애호박 볶음'을 제외한 샐러드 요리에서는 영앙 정보만 공유할 뿐 레시피는 제공하지 않았다. 
 

연역적 추론 : 스무고개

승자 : 없음

챗봇들과 스무고개를 했다. 답은 '강아지'로 정했지만, 무의미한 일이었다. 챗봇들과 스무고개를 시작조차 하지 못했기 때문이다. 우선 클로바X는 '나랑 스무고개 하자'라는 질문에 20가지 질문을 곧장 쏟아냈다. 필자가 생각한 스무고개의 시작과는 전혀 달랐으며, 20개의 질문 중에는 중복된 것도 있었다. 스무고개를 할 의욕이 바로 사라졌다.

바드의 답변을 보자. 바드는 황당하게도 첫 번째 질문에서 단어의 첫 글자를, 두 번째 질문에서 단어의 두 번째 글자를 물었다. 이런 패턴대로라면 세 번째 질문에서는 그다음 글자, 네 번째 질문에서 그다음 글자를 몰 것이 뻔했다. 그렇다면 정답을 알려주는 것이 아닌가? 애초에 스무고개란 '예/아니오'로 대답할 수 있는 질문을 통해 답을 알아내는 게임이다. 예/아니오가 아닌 다른 답변을 요구하는 챗봇들의 연역적 추록 능력을 판단하는 것은 불가능했다.

빙챗과는 스무고개를 시작할 수 있지 않을까 생각했지만, 결과는 똑같았다. 사실 빙챗과는 '알아맞히기 게임'을 하기는 했다. 무턱대고 자신이 생각한 숫자를 맞춰보라고 요구했기 때문이다. 아무 숫자를 입력했더니 놀랍게도 정답이었다. 더 놀라운 일은 숫자 맞히기 게임을 끊임없이 이어가려는 빙챗이었다. 어쩌면 빙챗은 필자의 '찍기 실력'에 자신감을 불여넣으려는 것일지도 모르겠다. 
 

창의성 : 다짜고짜 농담시키기

승자 : 빙챗

다짜고짜 재밌는 이야기, 혹은 농담을 해달라고 했을 때 당황하지 않을 사람은 없다. 하지만 AI 챗봇은 당황스러움을 모르는 존재다. 챗봇들에게 농담을 해달라고 요청했다. 클로바X의 답변이 가장 실망스러웠는데, 어떠한 농담도 해주지 않았다. 바드의 경우 너무 미국스러운 농담을 던졌다. 한국어로의 번역은 잘됐을지라도 한국어로는 어떤 부분에서 유머를 느껴야 할지 전혀 와닿지 않는다. 

그나마 이해할 수 있는 농담을 던진 것은 빙챗이었다. 소위 말하는 썰렁한 '아재 개그' 스타일의 농담이었다. 영어로 번역했을 때 더 와닿을 농담이긴했지만, 이후 '한국에서 유명한 농담'을 물어도 같은 답변을 했다. 빙챗이 농담 부문에서 우승한 것은 대화 스타일(창의적인, 균형있는, 정밀한)을 선택할 수 있기 때문일 수 있다.
 

창의성 : 삶의 여정에 대한 시

승자 : 바드

챗봇들의 창의성을 다시 한번 테스트해 보기로 했다. 이번에는 시 창작이다. 사실 처음에는 '나무에 대한 시'를 부탁했는데, 바드와 빙챗이 행연의 구분만 다르고 내용은 동일한 시를 작성했다. 챗봇의 답변을 비교하려고 했을 뿐 민감한 문제인 표절 시비까지는 가리고 싶지 않았으므로 조금 다양한 표현이 나올 수 있는 추상적인 주제를 선택했다.
 

우승은 가장 '시 다운 시'를 쓴 바드에게 돌아갔다. 바드는 연 구분은 없었지만 적절한 문장 길이로 행을 구분했고 제목과 해설까지 설명했다. '나무에 대한 시'는 시처럼 썼던 빙챗은 이번에는 산문 시 같은 글을 썼다. 제목은 없었고 마침표 없이 의견을 나열한 것에 불과했다. 빙챗에게 이게 시가 맞느냐고 물었더니 "시는 정해진 형식이나 규칙이 없다"라고 항변했다. 

클로바X도 시 다운 시를 작성하는 듯했으나 지금까지 전혀 보지 못한 문제가 발생했다. 시를 끝맺지 못한 것이다. 나무에 대한 시를 쓸 때도 마찬가지였다. 비슷한 내용이 반복되는 시를 무한 생성하다가 멈춰버렸다.
 

쇼핑 정보 : 1만 원 이하의 수분 크림

승자 : 빙챗

클로바X의 특징인 '스킬 시스템'은 이 대결에서 우승하는 데 얼마나 도움이 될까? 스킬 시스템은 네이버의 내외부 서비스를 연결해 질문과 연관된 상세 페이지를 안내하는 기능이다. 현재는 '네이버 쇼핑'과 '네이버 여행' 스킬을 사용할 수 있다. 하지만 클로바X에게 수분 크림 추천을 부탁했더니, 어떠한 링크도 제공하지 않았다. 제품에 함유된 성분까지 자세히 안내한 바드와 빙챗과의 답변보다 정보가 부족했다. 우승은 성분 설명과 함께 제품 정보를 더 찾을 수 있는 링크를 제공한 빙챗이 차지했다.
 

맛집 추천 : 서울시 중구 맛집 추천

승자 : 클로바X와 바드

대부분 사람은 맛집을 검색할 때 구글보다 네이버를 애용하고 한다. 홍보성 게시물이 아닌 글을 판단하는 노하우까지 공유될 정도다. 예상대로 클로바X는 다양한 중구 지역 맛집을 추천했다. 인기 메뉴와 역과의 거리 같은 유용한 정보까지 제공했다. 바드는 가게별 인기 메뉴를 소개하며 맛깔스러운 맛 표현까지 곁들였다. 빙챗은 가장 많은 식당을 추천했으나 구체적인 세부 지역과 메뉴 정보가 부족해 아쉬웠다. 
 

최종 결론

총 10가지 질문에서 가장 많은 점수를 받은 것은 바드(5점), 빙챗(4점), 클로바X(3점) 순이었지만, 이번 대결을 통해 각 챗봇이 서로 다른 강점을 지니고 있음을 알 수 있었다. 클로바X의 '한국어 패치'는 한국어 대화로 진행한 이번 대결에서 결정적인 역할을 하지 못한 점도 확인했다. 

바드는 문장력이 상대적으로 우수한 편이었다. 문단을 잘 나눠 긴 길이의 답변도 조리 있게 설명하는 듯한 느낌을 받았다. 시 창작 답변에서 "이 시가 여러분의 삶의 여정에 조금이나마 도움이 되기를 바란다"라는 문장에서는 따스함마저 느껴졌다. 

AI 챗봇으로 최신 정보를 검색하려고 한다면 빙챗을 사용하는 게 마땅하다. 또한 답변을 기반으로 추가 조사를 하려고 한다면 모든 답변에서 출처를 제공하는 빙챗이 유용할 것이다. 검색 내용에 따라 대화 스타일을 선택할 수 있는 점도 빙챗의 장점이다. 

클로바X의 답변은 '시 쓰기'를 제외하고는 간단명료하다. 클로바X의 특징인 '스킬 시스템'은 앞으로는 유용하게 활용될지 몰라도 아직은 제 기능을 매끄럽게 수행하지는 못한다. 정식 버전이 서비스되고 더 많은 스킬이 장착되면 바드와 빙챗과는 다른 방식으로 유용하게 사용될 것으로 기대된다.
 

mia.kim@foundryco.com