AIㆍML

글로벌 칼럼 | 오픈AI의 '크리틱GPT'가 재앙이 될 수 있는 이유

Evan Schuman | Computerworld 2024.07.10
통계 분석 수업에서 학생들에게 신뢰도가 매우 낮은 요소를 주고 신뢰도가 낮은 다른 요소와 짝을 이루라고 하면 데이터 결과값이 잘못될 위험 즉, 오류율이 더 높아진다는 사실을 알 것이다. 오류율은 ‘꽤 많이’ 높아질 것이다. 
 
ⓒ Pixtomental1/Pixabay

하지만 최근 일부 기술 리더들은 생성형 AI의 나쁜 결과물, 일명 환각 현상에 대처하기 위해 다른 생성형 AI 프로그램을 결합하고 있다. 생성형 AI를 모니터링하고 관리해 환각에 대처하기 위해 다른 생성형 AI를 사용한다는 아이디어를 받아들이고 있다는 점은 심각한 문제다. 수학은 그런 식으로 작동하지 않는다. 

최근 오픈AI는 다른 생성형 AI 프로그램에서 발생하는 오류를 식별하기 위한 프로그램을 출시했다. 오픈AI는 새 앱을 소개하는 게시물에서 “챗GPT의 코드 출력에서 오류를 찾아내기 위해 GPT-4를 기반으로 한 크리틱GPT(CriticGPT)라는 모델을 학습시켰다. 챗GPT 코드를 검토할 때 크리틱GPT의 도움을 받은 사람이 그렇지 않은 사람보다 60% 더 나은 결과를 보인다는 사실을 발견했다”라고 설명했다. 

오픈AI는 앞으로 사람이 환각 현상을 찾기가 더 어려워질 것이라고 예측했다. 인간 AI 트레이너가 챗GPT 반응을 평가하는 인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback, RLHF) 접근법에 한계가 있다는 이유에서다.

오픈AI는 “추론과 행동 모델링이 발전함에 따라 챗GPT는 더욱 정확해지고 실수는 더욱 감지하기 어려워진다. 결과적으로 RLHF 작업이 훨씬 어려워질 수 있다. 모델이 피드백을 제공하는 사람보다 점차 더 많은 지식을 갖추게 되기 때문이다. 이는 RLHF의 근본적인 한계다”라고 덧붙였다. 

이는 다른 보고서에서 지적한 RLHF의 한계와도 일치한다. 경험 많은 IT 종사자는 일반적으로 소프트웨어가 업데이트를 거치면서 더 좋아질 것으로 기대하지만, 이와 달리 환각 현상은 더 악화될 가능성이 있다.

‘더 나빠진다’라는 것은 복잡한 단어다. 환각 현상이 더 자주 발생하거나 생성형 AI 챗봇가 더 이상한 답변을 한다는 의미가 아니다. ‘사람이 알아채지 못할 가능성이 높아진다’라는 의미다. 즉, 이런 문제에 더 많은 생성형 AI를 투입하는 것은 더 많은 문제를 야기할 수 있다. 

오픈AI의 주장은 소프트웨어가 스스로 작동한다는 것이 아니다. 크리틱GPT가 인간이 다른 생성형 AI 프로그램에 의해 만들어진 환각을 더 잘 발견할 수 있도록 훈련시킬 것이라는 것이다. 

오픈AI는 “크리틱GPT의 제안이 항상 옳은 것은 아니지만 AI의 도움을 받지 않았을 때보다는 모델이 작성한 답안에서 더 많은 문제를 발견하는 데 도움이 될 수 있다. 또한 크리틱GPT를 사용해 사람의 능력을 AI로 보강하면 사람 혼자 작업할 때보다 더 포괄적인 비평할 수 있고 모델이 혼자 작업할 때보다 환각 버그가 줄어든다”라고 주장했다. 

바로 여기에 논리적인 문제가 있다. 생성형 AI에 대한 대표적인 비판은 사람을 모방하는 데는 뛰어나지만 실제로 사람을 이해하지 못한다는 것이다. 오픈AI는 ‘사람이 시스템에 오류가 있는지 계속 점검한다’라고 잘못 가정하고 있다. 사람은 게으르며, IT 직원은 과로에 시달리고 자원이 부족한 상황에 놓여 있다. 훨씬 가능성이 높은 결과는 인간이 AI를 모니터링하는 AI를 점점 더 신뢰하게 되는 상황이다. 이것이야말로 진짜 위험하다.

‘AI의 오류를 찾기 위해 다른 AI를 신뢰하는 것’의 또 다른 예는 모건 스탠리다. 최근 모건 스탠리는 고객 회의 녹취록과 요약을 작성하기 위해 생성형 AI 툴을 도입했다. 이에 대해 MDRM 캐피털(MDRM Capital) CEO 애런 커크세나는 모건 스탠리가 줌, 구글, 마이크로소프트, 애플의 생성형 AI 기능에서 트랜스크립트와 요약을 실행한 다음, 또 다른 생성형 AI 프로그램을 사용해 결과를 비교하고 정보 충돌을 표시할 수 있다고 설명하며 “두 AI 시스템이 같은 것을 틀릴 가능성은 얼마나 될까?”라고 반문했다. 

타당한 질문이지만, 반대되는 질문도 마찬가지다. 하나 이상의 생성형 AI 프로그램이 프로세스에 더 많은 환각을 불러일으킬 가능성은 얼마나 될까? 충돌이 있는데도 검사 프로그램이 충돌이 없는 것으로 착각한다면 어떻게 될까? 뿐만 아니라 검사기 앱이 실제로는 정상인데도 연결이 끊어진 것으로 표시하는 경우도 위험하다. 검사 프로그램이 인간에게 번거로움을 준다면 그것을 사용하거나 믿으려는 경향이 줄어들 것이다.

오늘날 모바일 음성 인식 기술을 생각해 보라. 정확도가 98~99%에 육박할 정도로 높기 때문에 메시지를 음성으로 받아 적어서 보내는 사용자가 적지 않다. 하지만 이로 인해 종종 혼란과 당혹스러운 상황이 발생한다. 

최근 필자는 동료에게 “Fine. You can do that.”라고 말했는데, 아이폰은 ‘fine’이라는 단어와 ‘you’라는 단어를 나란히 들어 ‘f’로 시작하는 단어를 다른 단어와 착각했다. 화면에 문제가 없어보여서 보내기 버튼을 눌렀더니 다른 단어로 변경돼 전송됐다. 메시지가 입력된 이후에 단어가 변경되지 않도록 시스템에서 차단해주었더라면 좋았을 것이다. 

음성 인식 정확도가 90%대 초반이었던 과거에는 실수가 너무 흔해서 사람이 꼼꼼히 확인해야 했다. AI가 AI를 검사하는 데도 같은 재앙이 닥칠까 두렵다. 
editor@itworld.co.kr
Sponsored
IDG 설문조사

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.