AIㆍML

LLM 도입 전 고려해야 할 5가지 질문

Andrew C. Oliver  | InfoWorld 2024.02.15
챗GPT 출시 후 대규모 언어 모델(LLM)에 대한 열광만큼이나 반발도 커지고 있다. 실제로 이 기술을 잘못 적용한 사례도 있고, 기능이 과대 포장된 경우도 많기 때문이다. LLM의 사용처는 분면 많지만, 본격 사용하기 전에 먼저 기업은 몇 가지 중요한 질문에 답해야 할 것이다.
 
ⓒ Getty Images Bank
 

LLM이 사람의 응답보다 낫거나 최소한 동등할까?

웹사이트 첫 페이지에 안내돼 있지 않은 질문에 대답하지 않는 고객 서비스 챗봇이 좋은 평가를 받을 수 있을까? 사람이라고 해도 스크립트만 읽고 도움을 줄 권한이 없는 고객 서비스 담당자라면 똑같이 실망스러울 것이다. LLM을 배포할 때는 대체할 챗봇이 사람의 응답과 동등하거나 더 나은지 테스트를 거쳐야 한다.
 

법적 책임 노출 가능성이란 무엇인가?

기업은 새로운 프로세스나 기술이 법적 책임에 노출될 가능성이 있는지를 평가해야 한다. 의료, 법률, 금융 같이 주의를 기울여야 할 분야가 분명히 있다. 오해의 소지가 있거나 부적절하거나 더 나쁜 조언을 하는 LLM 생성 답변은 어떨까?

잘못된 회사 정책은 종종 집단 소송으로 이어지기도 한다. 고객과의 상호작용 규모가 커지면서 부적절하게 훈련되거나 제약이 많은 LLM은 의도와 상관없이 더 큰 책임을 불러 일으킨다.
 

LLM은 정말 더 저렴한가?

물론 챗GPT 같은 일반적인 LLM의 구독과 사용량을 측정하는 것은 쉽다. 그러나 더 구체적인 맞춤형 시스템은 단순한 연산 성능을 넘어 더 높은 비용을 야기할 수 있다. 시스템을 유지하고 디버깅하는 직원과 기타 인프라가 필요하다. AI 전문가 한 명을 고용하는 비용으로 상당수의 고객 서비스 전문가를 고용할 수 있을 것이다.

현재 챗GPT나 유사 서비스는 투자를 유치해 자금을 충당하고 있다. 언젠가는 수익을 내고 싶어 할 것이고, 그러면 요금이 인상될 수도 있다. LLM은 시스템의 수명 주기 동안 계속 저렴한 상태로 유지될 것인지를 생각해 보아야 한다.
 

어떻게 유지관리할 것인가?

대다수 엔터프라이즈 LLM 시스템은 특정 데이터에 적합하도록 맞춤 학습된다. LLM의 기반인 신경망의 단점은 디버깅이 어렵기로 악명이 높다는 것이다. 기술이 발전하면서 잘못 학습한 내용을 수정, 삭제, ‘학습 해제’하는 기능을 개발할 수도 있겠지만, 현재로서는 학습 해제가 매우 어려울 수 있다. LLM을 정기적으로 업데이트하고 잘못된 응답을 제거하는 프로세스나 절차가 마련되어 있는가?
 

테스트 과정은 어떻게 진행되는가?

LLM의 장점은 모델이 신뢰할 수 있는 답변을 제공하기 위해 가능한 모든 질문의 순열을 예측할 필요가 없다는 것이다. 그러나 “신뢰할 수 있음”이 곧 정답을 의미하는 것은 아니다. 최소한 가장 일반적인 질문과 다양한 순열을 테스트해야 한다. LLM이 사람이나 기존의 머신 프로세스를 대체할 예정이라면, 현재 사람들이 많이 묻는 질문이 곧 좋은 데이터세트가 될 것이다.

“급할수록 둘러 가라”라는 속담이 있다. 모든 사용례가 LLM의 베스트 프랙티스가 될 수는 없고, 현재 열정이 역량을 앞지르고 있다는 근거가 충분하다. 그러나 품질과 경제성을 측정하고 적절한 유지 관리 및 테스트 절차를 마련한다면 LLM은 다양한 사용례에서 유용한 도구로 쓰일 것이다.
editor@itworld.co.kr 
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.