AIㆍML

“AI가 만든 프롬프트가 일관적인 결과 도출에 더 효과적” VM웨어 연구

Grant Gross | Computerworld 2024.03.11
생성형 AI가 기업에 도입된 후 프롬프트 엔지니어에 대한 수요가 커진 만큼 이들의 역할도 AI로 자동화할 수 있는지, 혹은 최소한 AI를 활용할 수 있는지에 대한 연구가 이어지고 있다.
 
ⓒ Getty Images Bank

LLM에 수학 문제를 풀라고 요청하는 가장 효과적인 프롬프트를 작성하는 방법에 관한 VM웨어 NLP 랩(NLP Lab)의 최근 연구에 따르면, 인간의 프롬프트보다 AI의 프롬프트를 사용했을 때 더 나은 결과가 나오는 것으로 나타났다. VM웨어 연구에서는 "재미있을 거야" 혹은 "심호흡하고 생각해"와 같이 긍정적인 생각을 유도하는 사람의 메시지가 LLM의 결과를 더 나은 방향으로 개선할 수 있는지 알아보고자 했다. 


AI가 만든 프롬프트의 승리

해당 연구를 진행한 VM웨어 연구원 릭 배틀과 테자 골라푸디는 AI에 최적화된 프롬프트를 사용했을 때 "거의 모든 사례에서 사람이 직접 생성한 '긍정적 사고' 프롬프트와 결과가 일관적으로 같거나 능가했다"라고 설명했다.

연구팀은 AI에 다양한 프롬프트를 제공함으로써 새로운 답변을 내놓도록 하는 것은 쉽지만, 사람이 생성한 프롬프트를 사용해 일관적으로 훌륭한 답변을 끌어내는 것은 더 어렵다며 "성능에 영향을 미치는 것은 사소한 부분이다. 수작업으로 프롬프트를 튜닝하는 과정에서 과학적 프로세스를 사용해 모든 변경 사항을 평가하고 성능을 개선하는 것은 매우 힘들고 계산적으로도 불가능하다"라고 결론지었다.

VM웨어 연구팀의 결론은 2023년 구글 딥마인드의 연구 결과와도 비슷하다. 구글 딥마인드의 연구에 따르면, AI는 AI 모델 종류와 작업에 따라 프롬프르를 최적화할 수 있는 반면, 사람이 생성한 프롬프트는 "크게 다른 결과"를 만들 수 있는 것으로 나타났다.

VM웨어와 구글 딥마인드의 연구 결과는 AI가 자체 프롬프트를 최적화하는 기능이 우수함을 강조한다. VM웨어 연구팀은 "프롬프트를 다듬고 후속 진행 상황을 모니터링하는 반복적인 프로세스에 참여하는 것은 즐거운 일이 될 수 있다. 하지만 이런 접근 방식은 특히 과학적 관점에서 모든 수정 사항을 체계적으로 평가할 때 매우 시간 비효율적인 것으로 나타났다"라고 지적했다. 

글로벌 협상 기술 및 교육 회사 스캇워크 인터내셔널(Scotwork International)의 수석 컨설턴트이자 AI 전문가인 다니엘 프리먼은 '최고'라는 개념이 주관적일지라도 AI가 최고의 AI 결과를 제시하는 것은 놀라운 일이 아닐 것이라고 말한다. "사람이 이미 AI 모델에 내재된 편향성을 해결하고 있으므로 사람이 의도하지 않은 결과가 '가장 좋은' 프롬프트일 수 있다"라는 것이다. 


윤리적 고려 사항

최근 비즈니스 인사이더는 AI가 고임금 AI 프롬프트 엔지니어링 일자리를 차지할 것이라는 전망을 다뤘는데, 프리먼은 이와 관련해 "AI에 스스로 판단하도록 요청하는 시점에 이르면 의문이 생긴다. 더 큰 윤리적 고려 사항보다 비용 절감을 우선시하는 것은 아닌가? 정말 인간의 개입을 배하고 싶은 것인가?"라고 반문했다. 

최근 연구는 AI와 학습에서 인간을 배제할 수 있는 가능성을 시사하지만, 프리먼은 이는 "위태로운 길을 밟는 것"이라고 지적하며 "이 새로운 기술을 현명하게 개발하기 위해 사람의 손길에 의존해야 한다"라고 강조했다. 예를 들어 AI 챗봇이 부정확한 정보를 제공하지 않도록 유도하고, 학계에서 표절을 줄이고, AI가 생성한 예술의 윤리적 딜레마를 해결하기 위해서는 사람의 지침이 필요하다.

프리먼은 스캇워크에서 일하면서 AI가 협상 교육 프로세스에 점점 더 많이 통합되는 것을 목격했다며 "향후 비즈니스 협상뿐 아니라 AI의 역할이 계속 확대될 것으로 예상되지만, 성공적인 통합과 협상을 예술 형식으로 보존하려면 AI와 인간의 역량 사이에 적절한 균형을 맞추는 것이 가장 중요할 것"이라고 강조했다.
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.