AIㆍML

ChatGPT-3 기반 AI로 글쓰기, 정말 AI가 글까지 써낼까?

Galen Gruman | InfoWorld 2022.12.19

원문에 쓰인 용어와 개념이 전문적일수록 카피스미스AI는 창의성을 발휘하지 못했다. 다른 단어로 바꿀 수 있는 대체 텍스트가 충분하지 않은 것이 이유겠지만, 최종 결과물을 보면 시스템이 의미를 바꿀 가능성이 낮음을 알 수 있다.

그러나 ‘가능성이 낮다’는 것이 ‘불가능하다’는 뜻은 아니다. 몇몇 경우에는 용어의 의미를 잘못 이해하여 부정확한 텍스트를 만들어 내기도 했다. “고위급 수준의 지원에는 추가 비용이 필요할 수 있다”라는 의미가 “고위 임원은 더 높은 급여가 필요하다”라는 문장이 되기도 했다. 의미적으로 틀린 말은 아니지만 본문의 의미나 내용과는 달랐다.

이와 같은 사례는 GPT-3가 요청이나 개념을 기반으로 글을 쓸 때 단순히 다시 작성하거나 요약하는 것보다 그저 잘 작동하는 것이 훨씬 어렵다는 의미다. 의도(목적), 흐름, 출처를 이해하지 못해 빛 좋은 개살구 같은 결과물을 만든다. 

의도를 이해하지 못한 예시가 또 있다. 카피스미스.AI는 윈도우 PC 구입을 다룬 기사문을 쓰라는 요청에 크롬북 사용을 홍보하면서 PC 대신 크롬북을 선택해야 하는 이유를 많이 제시했다. 소스 텍스트는 윈도우 PC를 강조하지 않았다. 쿼리를 다시 실행하자 완전히 다른 결과물이 나왔다. 이번에는 특정(그리고 중요하지 않은) 기술을 설명한 문단, PC의 대안을 다룬 문단을 제안했다. 마치 독자가 윈도우 PC를 사지 않기를 바라는 카피라이터.AI 같았다. 동일한 요청을 세 번째 실행하자, 원래 요청한 주제와 전혀 관련이 없는 중소기업 공급망의 딜레마에 초점을 맞춘 결과물이 나왔다.

다른 테스트도 비슷한 맥락으로 흘러갔다. 목표를 이해하지 못한 채(윈도우 PC 구매 가이드는 요청에서 이미 같은 문구를 사용했기 때문에 명확하다고 생각했다) GPT-3와 카피스미스.AI는 그저 PC와 관련이 있는 개념, 적어도 어떤 식으로든 연관이 있는 개념을 찾아 제안할 뿐이었다.

자연스러운 글쓰기의 흐름, 즉 주장과 근거가 있는 스토리텔링도 부족했다. 카피스미스.AI 도구로 개요 제안을 기반으로 한 글을 작성할 때 각 문단은 대체로 의미가 있었다. 그러나 서로 연결하면 엄청난 혼란 그 자체가 되어 이야기 흐름도, 실마리도 보이지 않았다. 전자 상거래 사이트에 실을 계란의 장점이나 주철을 다루는 방법을 한두 줄 쓰고 마는 경우라면 괜찮았을지도 모른다. AI가 학생의 보고서를 대리 작성하는 경우에도 현실성이나 문장 결합도 수준이 낮을 것으로 보인다. 교사인 친구에게도 복사나 붙여 넣기로 작성한 소논문보다 훨씬 많은 노력이 필요하겠지만, AI가 쓴 글을 가려낼 수는 있을 것이라고 말해 주었다. 권위자의 인용이 부족한 것도 하나의 신호가 될 것이다.
 
출처는 곧 소스다. 생성된 텍스트의 근거가 되는 소스 자료를 누가 작성했는지에 따라 신뢰성, 전문 지식, 편견 가능성 등을 평가할 수 있다. 글을 쓴 집단이나 소속을 통해 저자가 누구인지, 어디에 소속되어 있는지를 알 수 있고, 편견 여부나 사고 방식을 이해할 수 있다. 그리고 언제 쓰인 자료인지에 따라 작성 시점을 확인할 수 있다. 오픈AI는 카피스미스 같은 서드파티에 자료를 노출하지 않으므로 결과 텍스트는 잘 알려졌다 해도 신뢰하기가 쉽지 않다. 테스트한 텍스트에는 출처가 의심스러운 단서가 하나 이상 들어 있어서 생성된 문장이 엉망이라는 것을 알 수 있었다.

예를 들어, 설문 조사 데이터는 모두 출처가 없었지만 웹 검색을 통해 원본이 작성된 날과 몇 년씩 차이가 난다든지, 어느 정도 연관이 있어도 결국 주제나 모집단이 다르다는 점을 금방 알 수 있었다. 사실을 취사 선택하고 조합해 사람들이 듣고 싶어하는 이야기를 만들어 내는 것은 가짜 뉴스 제공자나 조작자가 쓰는 수법이지, AI가 할 일은 아니다.

최소한 GPT로 만들어진 문장이 출처와 연결되어야 한다. 그래야만 결과물의 구성 요소가 단순히 잘 쓰여졌는지, 또 의미 있고 신뢰할 만한지, 연관성이 적절한지를 확인할 수 있다. 그러나 오픈AI는 지금까지 챗GPT와 카피스미스.AI 같은 도구에서 글을 만들 때 데이터베이스에 어떤 내용이 포함됐는지 밝히지 않기로 결정했다.

결론 : GPT 기반 콘텐츠 생성기를 사용할 때는 적어도 결과를 검증할 전문 작가와 편집자가 필요하며, AI 도구가 추가 입력기로 기능할 때에는 이들의 작업이 무척 고될 것이다.

AI는 미래지만, 그 미래는 완료형이 아니다

카피스미스.AI를 비난하려는 목적은 없다. 단지 챗GPT는 다른 많은 자연어 콘텐츠 도구가 그렇듯 GPT-3의 프런트 엔드일 뿐이라고 말하고 싶을 뿐이다. GPT-3을 폄하하려는 의도는 절대 아니지만, 강력한 개념 증명임에도 GPT는 아직까지 베타 단계이며 앞으로도 여러 해 동안 더욱 발전할 것이라고 말하려는 것이다. AI를 폄하하려는 것도 아니다. 다만 이미 수십 년간 과대 평가를 받아왔음에도 현실에서 AI는 아직 더 많은 시스템과 프로세스를 거쳐 계속 진화를 거듭하고 있으며 유용한 역할을 탐색하고 있다고 주장할 뿐이다.

챗GPT에서처럼 AI는 다음 속임수가 나올 때까지 계속 사람을 매혹할 것이다. 경우에 따라서는 기업 활동을 개선하고 사이버공격을 탐지하는 등 방대한 양의 데이터를 믿을 수 없을 정도로 빠르게 분석하여 인간과 기계의 활동을 모두 늘릴 수도 있다. 현실은 어떤 면에서는 빛 좋은 개살구에 지나지 않지만, GPT 기반의 카피스미스.AI에서 일말의 가능성을 볼 수 있다.

기본적으로 AI는 놀라운 속도로 패턴 매칭과 상관 관계를 파악한다. 사이버 공격을 감지하고 많은 기업 활동을 개선하는 것과 같은 경우 사람이 할 수 있는 것보다 더 빠른 대응이 가능하다. AI의 엔진을 형성하는 기본 알고리즘과 훈련 모델은 결과적인 반응뿐 아니라 정보와 파생 패턴에 약간의 의미를 가져온다.

AI는 단순히 지식이나 정보에 관한 것이 아니라, 많은 정보를 적절히 연관시키고 평가할수록 더 잘 기능할 수 있다. AI는 인간, 고양이, 개, 문어 같은 생물처럼 지적이지 않다. AI에는 지혜, 직관, 지각, 판단력, 상상력의 도약, 더 높은 목적이 없고 그러한 지각 속성을 얻으려면 1조 개 이상의 매개변수가 필요하다.

챗GPT 그리고 비슷한 서비스를 마음껏 즐겨라. 기업에 유리한 기술을 최대한 조사해도 좋다. 그러나 인간의 마음이 대체되었다고는 생각하는 것은 크나큰 오류다.
editor@itworld.co.kr 
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.