요즘 핫한 커리어 스킬, ‘프롬프트 엔지니어링’ 현황과 전망

‘프롬프트 엔지니어링’의 중요성이 얼마나 커졌을까? 일리노이 공대 겸임 교수이자 가트너의 부사장 겸 애널리스트인 에릭 브레테누는 공학 대학원생 전원이 이력서와 링크드인 프로필에 ‘AI 프롬프트 엔지니어링’ 기술을 넣었다고 할 수 있을 정도로 중요해졌다고 말했다. 

브레테누는 “프롬프트 엔지니어링은 매우 중요하다. 오픈AI, 구글, 아마존, 마이크로소프트뿐만 아니라 모든 오픈소스 모델에서도 매우 중요하다. 곧 실무에 투입될 인적 자원은 어떤 방법으로든 프롬프트 엔지니어링을 습득해야 한다”라고 강조했다.  

링크드인 데이터에 따르면 1만 건 이상의 구인 공고에서 ‘프롬프트 엔지니어’를 언급하고 있으며, ‘프롬프트 엔지니어’를 명시한 공고도 100건에 달할 만큼 프롬프트 엔지니어링 수요가 급격하게 증가하고 있다. 링크드인 대변인은 2023년 초부터 전 세계적으로 프로필에 ‘GAI’, ‘챗GPT’, ‘프롬프트 엔지니어링’, ‘프롬프트 크래프팅’이라는 용어를 추가한 회원 수가 매달 평균 75% 증가했다고 밝혔다. ‘AI 책임자’ 직책을 맡았거나 맡고 있는 링크드인 회원 수도 지난 5년 동안 약 3배 늘었다. 
 

세계경제포럼(WEF)의 조사에 의하면 가장 빠르게 성장하는 직업 1위는 AI 및 머신러닝 전문가였고, 지속가능성 전문가, 비즈니스 인텔리전스(BI) 애널리스트, 정보 보안 애널리스트, 재생 에너지 엔지니어가 그 뒤를 이었다. 아울러 프롬프트 엔지니어는 연간 최대 33만 5,000달러라는 높은 연봉을 받는 것으로 알려졌다. 프롬프트 엔지니어링이 인간과 기계의 상호작용을 개선하기 위해, 즉 대규모 언어 모델(LLM)이 최적의 답변을 내놓을 수 있도록 하는 데 필요하기 때문이다. 

가트너 리서치의 부사장 겸 애널리스트 아비바 리탄은 “생성형 AI 애플리케이션이 고려되고, 시범 운영되는 속도만큼 숙련된 프롬프트 엔지니어 수요가 빠르게 증가하고 있다”라면서, “기업 관점에서는 기존 개발자와 소프트웨어 엔지니어에게 새로운 프롬프트 엔지니어링 기술을 교육하는 것이 중요하다. 모델을 효과적으로 프롬프트하기 위한 데이터 준비와 프로세스 플로우에 능숙하지 않으면 생성형 AI로 좋은 결과를 얻기 어렵다”라고 말했다. 

이어 리탄은 “새로운 직원을 채용할 필요는 없다. 소수의 전문성 있는 프롬프트 엔지니어만 있으면 개발 프로세스를 시작하는 동시에 기존의 의욕적이고 유능한 다른 엔지니어와 개발자를 교육하는 데 도움을 줄 수 있다”라고 전했다.  

브레테누는 전 세계 모든 대학교가 엔지니어, 개발자 등을 대상으로 프롬프트 엔지니어링 교육을 시작하겠지만, 무엇보다 기업이 기존 직원의 숙련도를 높이는 데 힘써야 한다고 언급했다. “기업에는 이미 관련 전문 지식이 있는 직원, 기술 전문가, 비즈니스 문제에 정통한 직원이 있다”라면서, “현재로서는 유데미, 코세라, 코드 아카데미 등의 온라인 학습 플랫폼이 직원의 업스킬링 또는 리스킬링에 가장 좋은 플랫폼”이라고 덧붙였다. 

코세라 대변인에 따르면 (2023년 10월 기준) 지난 5개월 동안 코세라에는 4개의 프롬프트 엔지니어링 강좌가 개설됐고, 17만 명 이상의 회원이 등록했다.

코세라의 프로그램에는 ▲밴더빌트 대학의 챗GPT용 프롬프트 엔지니어링(Prompt Engineering for ChatGPT from Vanderbilt University), ▲딥러닝닷AI 개발자용 챗GPT 프롬프트 엔지니어링(ChatGPT Prompt Engineering for Developers from DeepLearning.AI), ▲스크림바 웹 개발자용 프롬프트 엔지니어링(Prompt Engineering for Web Developers from Scrimba), ▲애리조나 주립 대학의 챗GPT를 사용한 프롬프트 엔지니어링(AI Foundations: Prompt Engineering with ChatGPT from Arizona State University)이 있다. 

실제로 프롬프트 엔지니어링을 둘러싼 관심은 매우 뜨겁다. (이를 입증하듯) 챗GPT를 만든 오픈AI와 구글 브레인의 공동 설립자이자 대표인 AI 과학자 앤드류 응 박사가 ‘개발자를 위한 챗GPT 프롬프트 엔지니어링(ChatGPT Prompt Engineering for Developers)’이라는 강좌를 개설할 정도다. 

포브스에 의하면 EY, NTT 데이터(NTT DATA), 데이터스미(Datasumi), 이드림(Edreams) 등의 기업에서는 이미 프롬프트 엔지니어 직책을 만들었다. NTT 데이터의 인사 부문 부사장 킴 컬리는 “항상 혁신적인 기술에 대응해 새로운 일자리를 창출해 왔으며, 프롬프트 엔지니어를 통해 특히 AI 분야에서 새로운 기술을 활용할 수 있을 것”이라고 밝혔다. 

컬리는 “모두가 본 것처럼 AI에서 얻는 결과의 품질은 매우 다양하고, 이 품질은 질문을 어떻게 던지느냐에 따라 좌우된다”라며, “프롬프트 엔지니어는 기본적인 쿼리 데이터뿐만 아니라 필요한 답변의 맥락까지 이해해야 한다. 매우 수요가 높은 직업이며, 더 많은 기업이 AI를 활용하게 되면 그 중요성이 더욱 커질 것”이라고 설명했다. 아울러 프롬프트 엔지니어라는 직책을 만들 때 기존 직원의 역량을 강화하는 것도 한 방법이라고 덧붙였다.

컬리는 “질문과 답변의 맥락을 이해할 필요가 있기 때문에 이미 기업의 데이터를 활용 및 분석하고 있는 직원이 유리할 수 있다. 하지만 전통적인 교육 채널에서도 이제 막 가르치기 시작했다는 점에서, 신입 직원이 관련 역량을 갖추고 있을 수 있다”라고 말했다. 
 

그렇다면 ‘LLM’은 무엇이고, 왜 훈련이 필요한가? 

LLM은 딥러닝 알고리즘으로, 방대한 양의 정보를 저장한다는 특징이 있다. LLM은 수백만, 수십억, 심지어는 수조 개의 매개변수나 변수를 가질 수 있다. 기본적으로 LLM은 다음에 올 단어를 생성하며, 주어진 쿼리에 가장 적절한 응답을 선택하도록 LLM을 훈련시키는 것이 프롬프트 엔지니어가 하는 일이다. 컬럼비아 대학교의 AI 교수 겸 AI 컨설팅 업체 퓨즈머신(Fusemachines)의 CEO 사미어 매스키에 따르면 “원하는 결과를 얻기 위해 기계와 상호작용하는 과정이다.”

오픈AI의 GPT-4, 구글의 람다(LaMDA), 허깅페이스의 바트(Bart) 등 대부분의 LLM은 이미 방대한 양의 정보로 채워져 있으나, 프롬프트 엔지니어링을 통해 특정 산업이나 기업에서 사용할 수 있도록 생성형 AI 도구를 맞춤화할 수 있다. 

시간이 지남에 따라 대규모 비정형 LLM(예 : GPT-4 등)은 연산 집약도가 낮고, 도메인에 특화된 더 작은 모델로 대체되리라 예상된다. 즉, 더 컴팩트한 LLM이 다양한 버티컬 산업에서 각광받을 전망이다. 그렇게 되면 프롬프트 엔지니어링의 중요성은 더욱 커진다. 매스키는 “연구 관점에서 가장 중점을 두는 영역은 수백만, 수십억, 수조 개의 매개 변수를 사용하지 않고도 LLM에서 유사한 정확도를 얻는 것이다. GPT는 사라지지 않겠지만, 백엔드에서는 더 작아질 수 있다”라고 설명했다. 

매스키에 의하면 가장 기본적인 의미에서 프롬프트 엔지니어링 또는 AI를 위한 질문이나 작업을 설계하려면 다음의 5가지 ‘고수준’ 고려 사항이 필요하다. 

• 맥락(Context) : 금융 서비스, 의료, 제조 등 특정 분야의 작업을 AI 엔진에 제공한다. 

• 작업 자체 지정(Give it the task itself) : 예를 들어 인구의 20% 이상에서 당뇨병이 발견되는 모든 지역의 목록을 답하도록 요청한다. 

• 구체성(Specificity) : 답변 범위를 좁힌다. 예를 들면 AI 도구에 이미지가 아닌 목록을 생성하라고 요청한다. 

• 미세조정 프로세스(Fine-tuning process) : 정확도를 결정하기 위해 AI에 정교한 답변을 자세히 설명하도록 요청한다. 

• 재조정(Retuning) : 답변이 정확하지 않으면 추가 정보나 더 상세한 설명을 요청한다. 

프롬프트는 멀티모달일 수 있다. 예를 들어 이미지에 관한 텍스트를 2단계 프레임워크로 유도하는 프롬프트를 만들 수 있다. 이 시나리오에서는 프롬프트 엔지니어링으로 방사선 이미지에 대한 인사이트를 얻을 수 있다. 프롬프트 엔지니어가 방사선 이미지를 입력하면, AI가 이를 구문 분석해 방사선과 전문의나 외과 의사의 심층 분석이 필요한 급성 상태를 표시한다. 

매스키는 “입력 내용에 따라 텍스트 기반 창이 될 수도 있고, 코드 조각을 프롬프트로 사용하는 코딩 플랫폼이 될 수도 있다. 이미지나 동영상 등을 업로드할 수도 있다”라고 말했다. 

생성형 AI의 한 가지 장점은 기술 전문가가 아닌 직원도 쉽게 사용할 수 있다는 것이다. 즉, 코딩 기술이 필요하지 않다고 매스키는 전했다. “예를 들어 현업 부문 직원이 과거에는 선형 회귀 모델을 구축하거나, 특정 데이터 세트에서 통계 분석을 수행하는 작업을 할 수 없었다. 파이썬을 몰랐기 때문이다. 엔지니어가 아닌 사람도 데이터 세트에 관한 통계 분석을 할 수 있게 되면 많은 이점을 얻게 된다”라고 덧붙였다.  

매스키는 프롬프트 엔지니어링이 언젠가 (오늘날 많은 기업에서 유용하게 쓰이는) 엑셀 스프레드시트 사용법을 배우는 것과 유사해질 수 있다고 내다봤다. 

리탄은 프롬프트 엔지니어링이 결국 애플리케이션 엔지니어링과 소프트웨어 개발 경력에 포함될 것이라면서, “프롬프트 엔지니어링은 필수 기술이 되겠지만, 별도의 경력이 되지는 않을 것”이라고 전했다. 

포레스터 리서치의 새로운 보고서에 따르면 클라우드 업체도 프롬프트 엔지니어링 서비스를 출시할 가능성이 크다. 포레스터 보고서는 “2024년에는 모든 하이퍼스케일러가 프롬프트 엔지니어링 서비스를 발표할 것”이라면서, “하지만 기업의 (프롬프트 엔지니어링 서비스) 도입은 제한적일 전망이다. 불완전한 맥락 데이터, 데이터 과학자의 자연어 및 프롬프트 엔지니어링 경험 부족 때문에 클라우드 업체의 1세대 프롬프트 엔지니어링 서비스만으로는 미세조정 요구 사항을 해결하기에 충분하지 않을 것이다”라고 전했다.  

브레테누는 “현시점에서 프롬프트 엔지니어링을 다룬 교과서가 없기 때문에 ‘프롬프트 엔지니어링 역량 개발’이라고 하는 것이 대부분 직접 해보면서 배우는 것”이라면서, “생성형 AI 도구를 사용해 본 단 9개월의 경험으로 어떤 전문성을 갖출 수 있겠는가?”라고 지적했다. “따라서 가장 중요한 것은 기업 내 AI 리터러시 프로그램을 구축하고 직원 역량 강화를 시작하는 것이다”라고 전했다. 
editor@itworld.co.kr