블로그 | 생성형 AI 시스템이 바보가 되는 이유

생성형 AI에 대한 내부 고발이 이어지고 있지만, 대부분은 우리가 이미 알고 있는 내용이다. 많은 생성형 AI 시스템에서 사용자가 요청한 것과 다르거나 명백히 잘못된 응답이 나온다는 것이다. 공개적으로 문제가 된 것은 마이크로소프트의 소프트웨어 엔지니어링 책임자인 셰인 존스가 3월 6일 FTC 위원장 리나 칸과 마이크로소프트 이사회에 마이크로소프트의 AI 이미지 생성기가 특정 메시지가 주어지면 폭력적이고 성적인 이미지를 생성하고 저작권이 있는 이미지를 사용했다는 내용의 서한을 보낸 것이다.
 

물론 공개적으로 액세스할 수 있는 대규모 언어 모델(LLM)이 눈총을 받고 있다. 하지만 생성형 AI를 활용하는 비즈니스 애플리케이션은 어떨까? 규모가 작을수록 더 나은 품질의 응답을 유도할 수 있을까? 그렇지 않다.
 

생성형 AI가 잘못되는 지점

많은 사람이 생성형 AI가 정보를 제공하고 유용한 응답을 제공할 것이라고 생각했다. 하지만 이 기술은 그 기대에 부응하지 못하고 있는 것 같다. 도대체 무슨 일이 일어나고 있는 것일까?

생성형 AI는 모든 AI 시스템과 동일한 한계를 가지고 있다. 모델 학습에 사용되는 데이터에 따라 달라진다는 것이다. 엉터리 데이터는 엉터리 AI 모델을 만든다. 틀린 응답이나 법적 문제에 휘말릴 수 있는 응답을 받을 수도 있다. 이런 시스템에 내재된 한계를 인정하고 때때로 "어리석다”라고 할 만한 결과를 낼 수 있다는 것을 이해하는 것이 중요하다. 그렇지 않으면 이런 AI 시스템의 어리석음이 회사를 망하게 하거나 송사에 휘말리게 할 수 있다.

GPT와 같은 생성형 AI 모델은 방대한 데이터 세트에서 학습한 패턴과 연관성을 기반으로 작동한다. 이런 모델은 일관되고 맥락에 맞는 응답을 생성할 수 있지만, 적절한 이해와 의식이 부족해 당혹스럽거나 무의미해 보일 수 있는 결과를 내놓을 수 있다.

공개 LLM에 역사 논문을 작성하도록 요청하면, 나폴레옹이 미국 남북 전쟁에 참전했다는 설명이 나올 수도 있다. 물론, 이런 오류는 쉽게 발견할 수 있다. 하지만, 새로 만든 생성형 AI 기반 공급망 최적화 시스템에서 발생하는 실수는 발견하기가 쉽지 않을 것이다. 그리고 이런 오류는 수백만 달러의 매출 손실로 이어질 수 있다. 

생성형 AI 시스템 사용자들은 AI가 내놓은 결과를 복음이라도 되는 것처럼 받아들이는 경향이 있다. 이런 실수는 종종 큰 피해로 이어지고, 몇 달이 지나서야 발견되는 경우가 많다.
 

AI가 바보가 되는 이유는 데이터

생성형 AI와 관련된 대부분 비즈니스 문제는 데이터 부족으로 인해 발생한다. 기업은 AI 툴을 선택하는 데만 시간을 쏟을 뿐, 이런 AI 모델에 견고한 학습 데이터를 제공하기 위해 데이터를 더 나은 상태로 만드는 데는 충분한 시간을 투자하지 않는다. 그래서 시스템은 '지저분한 데이터'를 소비하고, 결국 새로 구축된 LLM 또는 SLM(Small Language Model)에서 온갖 문제가 발생한다. 

기업은 이 문제를 알고 있지만, 수집되는 데이터를 수정하지 않고 생성형 AI 시스템을 계속 진행해도 괜찮다고 생각한다. AI 툴이 결함이 있거나 오류가 있는 데이터를 찾아내 고려 대상에서 제외할 것이라고 생각해 버린다.

데이터를 학습하기 전에 검증 프로세스를 거친다면, AI 시스템이 이런 작업을 수행할 수도 있다. 하지만, 검증 프로세스가 잘못된 데이터를 찾아서 제거할 수 있지만, 불충분한 데이터가 모두 잘못된 데이터로 보이지는 않는다. 잘못된 데이터가 학습 데이터로 수집되면 생성형 AI 시스템은 점점 더 멍청해질 것이다.

기업이 생성형 AI 때문에 겪고 있는 문제의 대부분은 품질이 좋지 않은 데이터나 처음부터 사용해서는 안 되는 데이터와 관련이 있다. 데이터 문제를 해결하는 것이 쉽다고 생각할 수 있지만, 대부분 기업에서 데이터를 깨끗한 상태로 만드는 데는 수백만 달러의 비용이 들고, 시간도 수개월 또는 수년이 걸린다. 이 때문에 많은 기업이 데이터가 아닌 AI에 돈을 쓰고 있는 것이다. 이런 식으로 결과가 달라질 수 있을까?

또한 생성형 AI 시스템은 편견에 취약하다. 학습 데이터에 편견이나 부정확한 내용이 포함되어 있으면 모델이 생성된 콘텐츠에서 의도치 않게 편견을 지속시키거나 증폭시킬 수 있다. 모델에 편향성이 있다면, 이를 제거하기 위한 작업이 필요하다. 하지만 모델의 여러 부분에 편향이 있을 수 있으며, 이를 따로 떼어내 제거하는 것은 쉽지 않은 작업이다. 
 

생성형 AI의 다른 문제

상식 부족은 생성형 AI가 "바보같다"고 인식되는 주요 요인 중 하나이다. 이런 시스템은 인간과 달리 세상에 대한 기반 지식이 없으며, 학습 과정에서 학습한 통계적 패턴에 의존한다. 따라서 실제 세계에 대한 더 깊은 이해가 필요한 반응이 나올 수 있다.

고려해야 할 또 다른 측면은 입력 문구에 대한 생성형 AI의 민감도이다. 시스템은 프롬프트를 통해 사람으로부터 받은 입력이나 API를 사용하는 애플리케이션으로부터 받은 입력에 따라 응답을 생성한다. 문구를 조금만 변경해도 결과가 크게 달라질 수 있다. 이런 민감성 때문에 AI는 때때로 예상치 못한 또는 관련 없는 응답을 생성한다. AI가 제공하는 가치의 대부분은 적절한 질문을 하고 적절한 방법을 사용해야만 얻을 수 있다.

또한 비즈니스 데이터와 저작권 또는 지적재산권 소유권 문제가 발생할 수 있는 데이터를 구분하지 못하는 문제도 드러나고 있다. 예를 들어, 8,500명 이상의 저작자가 서명한 미국 작가조합의 공개 서한은 오픈AI(챗GPT), 구글(제미나이, 구 바드) 등 생성형 AI 애플리케이션을 담당하는 IT 업체에 적절한 허가나 보상 없이 저작물을 사용하는 것을 중단할 것을 촉구하고 있다. 필자도 LLM에 질문한 적이 있는데, 필자의 저작물 내용 중 일부를 앵무새처럼 되풀이하는 경우가 몇 번 있었다. 필자의 책과 수천 개의 기사가 이런 LLM의 학습 데이터로 사용됐을 것이다.

비즈니스 처리의 일부에 이런 LLM을 사용하는 기업은 다른 사람의 지적 재산을 비즈니스 목적으로 사용할 경우, 소송을 당할 수 있다. 예를 들어, LLM은 공급망 최적화를 위해 저작권이 있는 텍스트에 설명된 공급망 관리 프로세스를 무의식적으로 사용할 수 있으며, 여기에는 공개된 알고리즘이 포함될 수 있다. 그렇기 때문에 대부분 업체가 비즈니스 목적으로 공개 생성형 AI 시스템을 사용하는 것을 금지하고 있다. 

생성형 AI의 완성을 위한 여정을 계속해 나가려면, 이런 문제들을 해결하는 방법을 먼저 배워야 할 것이다.
editor@itworld.co.kr