AIㆍML / 애플리케이션

전통강호 ‘구글’ vs. 신흥강자 ‘ChatGPT’의 AI 맞대결··· 프레플리 보고서

강옥주 | ITWorld 2023.03.16
미국의 e-러닝 플랫폼 ‘프레플리(Preply)’가 구글과 ChatGPT 중 누가 더 똑똑한 지 테스트를 실시했다. 최종 승자는 ChatGPT였지만 구글도 전통의 강호다운 만만치 않은 저력을 보여줬다. 여기서는 프레플리의 보고서를 기반으로 테스트 결과를 정리했다. 
 
ⓒGetty Images Bank

지난 2022년 11월 오픈AI가 ChatGPT를 대중에 공개했다. ChatGPT는 출시 2달 만에 사용자 1억 명을 넘기면서 그야말로 전 세계를 강타했다. 애플리케이션 역사상 최단 기록이다. 틱톡과 인스타그램은 1억 명을 달성하기까지 각각 9개월, 2년 반이 걸렸다. ChatGPT와 관련된 이슈, ChatGPT를 활용한 콘텐츠, ChatGPT를 적용한 서비스도 연일 쏟아지고 있다. 

그동안 AI 기술은 가까우면서도 먼 곳에 있었다. 수십억 달러 규모의 주식을 거래하고, 유전자 연구를 수행하며, 국가정보작전을 수행하는 데 활용돼 왔지만 일반 사용자에게 AI는 추상적인 존재에 머물러 있었다. 그런데 시를 쓰고, 코드를 작성하며, 아이디어를 브레인스토밍하는 ChatGPT가 등장하면서 AI는 삶에 가깝게 다가왔다. ChatGPT가 AI 서비스의 대중화 시대를 연 셈이다. 

프레플리에 따르면 지금으로부터 20년 전, 마법과도 같았던 또 다른 지능형 도구가 있었다. 바로 구글 검색이다. 구글 검색 또한 인공지능을 기반으로 한다. 구글 검색을 발판으로 모기업 알파벳은 미국 IT 기업 가운데 애플, 마이크로소프트, 아마존에 이어 4번째로 시총 1조달러를 돌파했다. 

프레플리는 구글과 ChatGPT의 응답 역량을 겨루는 테스트를 실시했다. 전문가들이 엄선한 40개 질문을 물어보고, 각 AI의 응답 성능을 평가한 것. 질문은 다양한 주제를 다뤘으며, 난이도에 따라 기본/중급/고급으로 분류됐다. 전문가 패널이 활용성, 명확성, 포괄성, 간결성, 맥락, 상세함, 효율성, 기능성, 공정성 등 12가지 기준을 가지고 답변을 평가했다. 

여기서는 기본, 중간, 고급 수준의 질문과 답변 중 몇 가지를 정리했다. 추가로 최근 발표된 GPT-4의 답변까지 알아봤다. 이전 버전과의 유의미한 차이가 있는 경우 설명을 달았다. 
 

기본 질문 : 7대 4로 구글 검색엔진 승리

ⓒPreply

Q. 넥타이 매는 방법 (구글 승리)
구글 검색 엔진은 ‘넥타이 매는 법’을 질문했을 때 텍스트보다 더 유용한 영상 정보를 제공했다. ChatGPT-4 역시 텍스트 설명만 제공하지만, 이전 버전이 기본적인 방법만 알려줬다면 최신 버전은 윈저 넥타이 매는 방법까지 소개하는 등 더 상세한 정보를 전달했다. 
 
 

Q. 산타클로스가 진짜인가? (ChatGPT 승리)
이 질문에 ChatGPT는 ‘실제로 존재하지 않는 인물’이라고 답한 반면, 구글 검색은 실존 인물이라고 답했다. 물론 정확하게 말하자면, 구글 검색에서도 ‘성 니콜라스는 오늘날의 산타클로스를 있게 한 실존 인물’이라고 밝히고 있긴 하지만 질문에 더 정확한 답변을 한 것은 ChatGPT였다. 
 
 
 

중간 수준 질문 : 15대 6으로 ChatGPT의 압도적 승리

ⓒPreply

Q. 달리기를 위한 최고의 신발은? (구글 승리)
구글 검색은 사용자가 살펴볼 만한 실제 제품과 적절한 콘텐츠 링크를 제시해 승리를 거뒀다. 반면에 ChatGPT는 특징을 서술했을 뿐 실행 가능한 콘텐츠를 제시하지 않았다는 점에서 패배했다. ChatGPT-4에서는 이전 버전보다 더 신중한 접근 방식이 돋보였다. “최고의 러닝화는 매우 주관적인 주제”라면서, “직접 신발을 착용하고 러닝을 해봐야 한다”라고 권고했다. 
 

Q. 신용 점수를 올리는 방법은? (ChatGPT 승리)
ChatGPT는 신용 점수를 올리는 빠른 방법은 없다며, 소개한 방법들을 꾸준히 실천하면서 관리하는 것이 중요하다고 조언했다. 반면에 구글 검색은 신용 관련 업체 광고와 더불어 신용 점수를 ‘빠르게’ 올릴 수 있다는 콘텐츠를 제시했다.  
 

 

고급 수준 질문 : 4대 3의 근소한 차이로 ChatGPT 승리 

ⓒPreply

Q. 돈을 버는 방법은? (ChatGPT 승리)
중간 수준의 질문에서 신용 점수를 올리는 방법을 물어봤을 때와 마찬가지였다. ChatGPT는 더 신중하고 맥락적인 정보를 제공하는 반면, 구글 검색에는 ‘빠르게, 쉽게, 당장’ 돈을 벌 수 있다는 광고성 콘텐츠가 나열됐다. ChatGPT-4에서는 플랫폼 활용(예: 긱 이코노미 등), 블로그 운영, 글 작성 등의 방법이 추가로 제시됐다. 
 

Q. 신은 실재하는가? (ChatGPT 승리)
‘신은 존재하는가?’라는 철학적인 질문에 ChatGPT는 ‘신념이나 입장에 따라 다르다’라며 다양한 관점과 주장을 제시했다. 반면에 구글 검색은 단순하게 종교단체의 광고 혹은 콘텐츠만 보여줬다. 
 
  

결론

최종적으로 ChatGPT가 23승1무16패를 기록하며 승리를 거머줬다. 최신 기술이 적용된 ChatGPT가 무조건 우세할 것이라고 생각했지만 꼭 그렇지만은 않았다. 구글만의 무기도 있었다. 텍스트 정보뿐만 아니라 사진과 동영상 정보까지 제공한다는 점, 구글링을 해야 하긴 하지만 정보가 방대하다는 점, 즉각 클릭해 구매할 수 있다는 점 등이다. ChatGPT의 등장으로 구글이 위기라고 말하지만 ChatGPT는 ChatGPT대로, 구글은 구글대로 각자의 역할과 기능이 있다고 판단된다. 프레플리에 따르면 핵심 결과는 다음과 같다. 

- 실시간 정보 접근성에서는 ChatGPT보다 구글이 더 뛰어났다. ChatGPT는 2021년 6월까지 수집된 데이터만 학습했기 때문이다. 하지만 ChatGPT가 머지않아 실시간 정보에도 접근하게 될 것이기 때문에 이 격차는 크게 고려할 만한 사항은 아니라고 프레플리는 전했다. 

- 구글이 ChatGPT보다 더 방대한 정보를 제공했다. 이를테면 구글 검색 엔진에 ‘ChatGPT’만 검색해도 0.35초 안에 7,800만 개 이상의 리소스에 액세스할 수 있으며, 모두 즉시 클릭해 볼 수 있다. 

- 구글의 이른바 ‘뷔페식’ 질의응답 방식에도 문제는 있다. 우선 ‘진짜’ 정보를 비롯해 광고성 콘텐츠가 너무 많다 보니 산만하다. 어떤 정보가 가장 적절한지 파악하는 데도 시간이 걸린다. 예를 들어 건강 관리에 대해 질문했을 때, 첫 번째 결과가 병원 광고이고, 그 다음 2개 결과도 광고로 가득 찬 웹사이트라면? 전반적인 사용자 경험을 저해하고, 혼란을 야기할 수 있다. 

- ChatGPT의 답변은 “신뢰할 수 있는 선생님과 나누는 대화”처럼 현명하고 성숙했다는 게 프레플리의 분석이다. 

- ChatGPT는 거의 항상 신중한 어조로 다양한 관점과 맥락을 제공했다. GPT-4에서는 이런 면모가 더 강화됐다. 구글 검색 엔진에서는 사용자가 직접 찾아 정리해야 하는 부분이 ChatGPT에서는 한 번에 정리돼 제시됐다고 할 수 있다. 반면에 구글 검색 결과는 때로는 진실을 희생하면서까지 관심을 끌기 위한 광고를 표시했다. 

- ChatGPT는 마치 구글 검색 엔진과는 다른 존재인 것처럼 행동했다. 인간의 사고방식을 학습하기도 했지만 그 자체로 작가인 것처럼 행동한다는 의미다. 

그렇다면 ChatGPT는 이런 연구 결과를 어떻게 생각할까? 프레플리는 ChatGPT에게 ‘방금 ChatGPT와 구글 중 누가 더 똑똑한지 알아봤다. ChatGPT가 이겼다. 한마디 하겠는가?’라고 물어봤다. 그 결과는 다음과 같다. 
 

ChatGPT는 언어 모델로서 학습된 데이터를 기반으로 텍스트를 이해하고 생성하도록 설계됐다. 연구에는 자연어를 이해하고 반응하는 역량이나 정보 제공의 속도 및 정확성 등의 요소가 고려됐을 수 있다. 하지만 구글은 방대한 양의 정보에 액세스하여 다양한 질문에 대한 답변을 신속하게 제공할 수 있는 검색엔진이다. 그리고 ChatGPT는 입력 받은 내용을 바탕으로 사람과 유사한 텍스트를 생성할 수 있는 언어 모델이라는 점을 염두에 둬야 한다. 둘 다 각자의 장점과 한계가 있기 때문에 직접 비교하기는 어렵다. 제공하는 답변의 품질을 향상시키기 위해 항상 지식을 배우고 업데이트하고 있다.”

julie_kang@idg.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.