대규모 언어 모델의 정의 그리고 생성형 AI와의 관계

카푸어는 언어모델이 중대한 실제 상황에서 사용된다면 선천적인 편향은 위험할 수 있다고 지적했다. 예를 들어, 편향된 언어 모델이 채용 과정에 사용된다면 실제 성별 편향으로 이어질 수 있다.

이러한 현상은 개발자가 의도적으로 모델을 편향하도록 프로그래밍해서 생긴 것이 아니다. 그러나 카푸어는 AI 모델을 공개하고 AI 모델로 수익을 얻는 주체는 개발자이므로 궁극적으로 편향을 시정할 책임 역시 개발자에게 있다고 주장했다.

프롬프트 엔지니어링은 무엇인가?

오픈AI의 GPT-4 같은 대부분의 LLM은 사전에 먼저 대량의 정보를 채워놓지만, 사용자에 의한 프롬프트 엔지니어링으로도 특정 업계나 심지어 기업의 용도에 맞게 모델을 학습할 수 있다.
MIT의 킴은 “프롬프트 엔지니어링의 목적은 우리가 원하는 말을 이끌어내기 위해 이 알고리즘에 무엇을 제공할지 결정하는 것이다. LLM은 아무런 맥락도 없이 그저 지껄이는 시스템이다. 어떤 의미로 LLM은 이미 챗봇이다”라고 말했다.

프롬프트 엔지니어링은 LLM이 원하는 결과를 달성하도록 텍스트 프롬프트를 공들여 작성하고 최적화하는 과정이다. LLM를 개발하고 호스팅하는 커뮤니티 주도 플랫폼 허깅 페이스의 머신러닝 엔지니어 에노 레이예스는 어쩌면 프롬프트 엔지니어링은 사용자에게 중요한 만큼, IT와 기업 전문에게도 필수 기술이 될 것이라고 전망한다. 프롬프트 엔지니어는 비즈니스 용도에 맞게 맞춤 설정된 LLM 개발을 담당하게 될 것이다.

프롬프트 엔지니어링은 최근에 생긴 초기 단계 기술이기 때문에 기업은 AI 애플리케이션의 최적화된 반응을 보장할 수단으로 책자와 프롬프트 가이드에 의존하고 있다. 심지어는 최고의 챗GPT용 프롬프트 100가지와 같은 프롬프트 시장도 생겨나고 있다.
 

LLM은 어떻게 더 작아지고, 빨라지고, 저렴해질 것인가?

오늘날, LLM 기반 챗봇이 가장 흔히 사용되는 방식은 텍스트 기반의 웹 채팅 인터페이스로서 '기본 설정 그대로' 사용되는 것이다. LLM 기반 챗봇은 구글의 바드와 마이크로소프트의 빙(챗GPT 기반) 같은 검색 엔진에서, 그리고 자동화된 온라인 고객 지원에 사용된다. 기업은 자체 데이터 집합을 입력하여 챗봇을 특정 비즈니스 용도로 좀 더 맞춤 설정할 수 있지만 이미 입력된 대량의 데이터 때문에 정확성이 떨어질 가능성이 있다.

허깅 페이스 공동 창업자 겸 CSO 토마스 울프는 이 달 초 MIT 컨퍼러스에 참석하여 “소규모 모델을 더 많은 데이터로 더 오래 학습시키면 과거에 대규모 모델이 수행하던 작업을 할 수 있다는 사실이 거듭 확인되고 있다. 소규모 모델에서 일어나는 현상에 대한 이해도 발전하고 있다고 생각한다”라고 말했다.

울프는 “첫 단계에서는 뭔가의 처음 부분을 작동시키기 위해 모든 것을 시도하고 그 다음 단계에서는 효율성을 높이고 실행 비용을 줄이기 위해 노력한다. 단순히 전체 웹을 철저히 조사하는 것은 누구나 하고 있어서 그것만으로는 부족하다. 품질 좋은 데이터를 가져오는 것이 훨씬 더 중요하다”라고 덧붙였다. 

크기와 목적에 따라 특정 사용 사례에 대한 LLM 학습 비용은 수백만 달러에서 천만 달러까지 들 수 있다.
 

그러나 LLM의 AI 및 컴퓨팅 성능을 소규모 데이터집합에 집중하면 막대한 비정형 데이터집합에 의존하는 거대한 LLM 이상의 성능을 발휘한다. 또 사용자가 찾는 콘텐츠를 더욱 정확하게 생성할 수도 있고 학습 비용도 훨씬 더 저렴하다.

마이크로소프트 AI 플랫폼 담당 기업 VP 에릭 보이드는 최근 MIT 엠테크(EmTech) 컨퍼런스에 연사로 나서 4년전 마이크로소프트가 오픈AI와 함께 처음 AI 이미지 모델 작업을 시작했을 때는 데이터집합의 크기가 커지면 성능이 정체되곤 했다고 말했다. 그러나, 언어모델은 용량이 훨씬 더 커서 성능 저하 없이 데이터를 받아들일 수 있다. 

오픈AI와 챗GPT에 가장 많은 자금을 지원하는 마이크로소프트는 더 큰 LLM을 구축할 인프라에 투자했다. 보이드는 “따라서 이제는 그처럼 큰 모델이 없어도 유사한 성능을 얻는 방법을 알아내고 있다. 데이터와 컴퓨팅 및 학습 시간이 더 많으면 여전히 성능을 늘릴 수 있지만, 그렇게 크게 만들 필요가 없고 더욱 효율적으로 관리할 수 있는 기법도 많아서 현재 학습 중이다”라고 말했다.

보이드는 “그 점이 대단히 중요한 이유는…이런 모델이 매우 비싸기 때문이다. 더 많이 도입되게 하려면 학습 비용과 제공 비용을 둘 다 줄일 방법을 알아 내야 한다”라고 덧붙였다.

예를 들어, 사용자가 프롬프트를 제출하면 GPT-3는 답변을 제공하기 위해 1,750억 개의 매개변수에 모두 접근해야 한다. 보이드는 희소 전문 모델이라는 더 작은 LLM 모델의 개발 방법은 LLM의 학습 및 연산 비용을 줄일 것으로 예상되며 “그 결과, 밀집 모델에 비해 정확도가 높은 거대한 모델이 생성될 것”이라고 말했다.

메타 플랫폼(구 페이스북) 연구진은 희소 전문 모델이 '컴퓨팅 중 일부'만 사용하여 챗GPT를 비롯한 거대 LLM과 비슷한 성능을 달성할 수 있다고 믿고 있다.

메타는 2022년 10월 연구 논문에서 “컴퓨팅 예산이 비교적 보통 수준인 모델의 경우, 희소 모델은 컴퓨팅 수요가 거의 4배에 이르는 밀집 모델과 대등한 수준으로 성능을 발휘할 수 있다"라고 밝혔다. 

이미 알레프 알파(Aleph Alpha), 데이터브릭스(Databricks), 픽시(Fixie), 라이트온(LightOn), 스태빌리티 AI(Stability AI), 심지어 오픈AI와 같은 기업은 더 작은 모델을 공개하고 있다. 더욱 민첩한 LLM은 수십억 개에서 1천억 개 정도의 매개변수가 있다.
 

여전히 산적한 개인정보보호와 보안 문제

사이버보안 업체 서프샤크(Surfshark)의 개인정보보호 자문 담당 가브리엘레 카베크키테에 따르면, LLM 기반 챗봇의 놀랄 만한 기능에 경탄하는 사용자는 많지만, 정부와 개인이 그 안에 숨어 있는 잠재적인 개인정보보호 문제를 도외시해서는 안 된다.

예를 들어, 올해 초 이탈리아는 서양 국가로서는 최초로 개인정보보호 관련 우려를 이유로 챗GPT의 추가 개발을 금지했다. 이 결정은 이후 뒤집혔지만 최초 금지 조치는 자연어 처리 앱이 사용자 대화나 결제 정보와 관련된 데이터 유출을 겪은 후 나온 것이라 의미가 크다.

카베크키테는 “이탈리아의 일시적 금지 조치 이후 챗GPT에서 일부 개선 사항이 있었지만 아직 더 나아질 여지가 있다. 개인정보보호 문제를 해결하는 것은 책임 있고 윤리적인 데이터 사용과 신뢰 조성, 그리고 AI 상호작용 시 사용자 개인정보의 안전한 보호를 보장함에 있어 필수적"이라고 강조했다.

카베크키테는 예를 들어 챗GPT의 데이터 수집 관행을 분석한 후, 챗GPT가 모델을 학습시킬 목적으로 대량의 개인정보를 수집했으나 정당한 법적 근거가 없는 것, AI 모델 학습에 사용된 데이터의 주인 전원에게 통보하지 않은 것, 항상 정확하지는 않은 것, 13세 미만 아동의 사용을 방지하는 효과적인 연령 검증 도구가 부족한 것 등 잠재적인 결함을 찾아냈다.

다른 전문가도 그 외에 AI가 수집하고 저장한 데이터의 보안 문제, 지적 재산 도용 문제, 데이터 기밀성 문제 등 LLM이 아직 극복하지 못한 좀 더 기본적인 문제를 우려한다.

튜링의 싯다르스는 “병원이나 은행이 LLM을 사용할 수 있으려면 지적 재산, 보안, 기밀성 문제를 해결해야 한다. 좋은 엔지니어링 솔루션이 있으니 해결될 것이라고 생각하지만, LLM이 기업에서 사용되려면 이런 문제가 먼저 해결되어야 한다. 기업은 LLM이 자사 데이터를 써서 경쟁업체에 더 나은 결과를 제공하는 상황을 원하지 않는다”라고 말했다. 

당연하게도 전 세계 여러 국가와 정부 기관은 AI 도구에 대처하기 위해 노력하기 시작했으며, 그 중에서 중국이 현재까지 가장 적극적으로 주도하고 있다. 각국의 AI 관련 정책과 노력을 소개하면 다음과 같다.
 

• 중국은 이미 AI 거버넌스를 위한 다수의 이니셔티브를 실행했다. 단, 이들 이니셔티브는 대부분 시민 개인정보보호와 관련되며 반드시 안전과 관련되지는 않는다.
• 미국 바이든 행정부는 책임 있는 혁신을 추진하기 위해 예전의 노력을 바탕으로 안전과 개인정보보호에 대처하기 위한 AI 규정을 발표했다. 그러나 현재까지 미국 의회는 AI를 규제하는 어떤 법도 통과시키지 않았다. 바이든 행정부는 2022년 10월, “AI 권리 장전”을 위한 청사진과 AI 위험 관리 프레임워크를 발표했으며 더 최근에는 ‘국가 AI 연구 자원’을 추진했다.
• 최근에 선진 7개국 그룹(G7)은 AI의 발전 속도가 안전과 보안을 위한 관리 감독 속도보다 빠르다고 언급하면서 AI를 통제하기 위한 기술적인 표준의 마련을 촉구했다.
• 유럽연합(EU)은 익명의 출처에서 생성한 콘텐츠를 활용할 수 있는 챗GPT와 같은 생성형 AI 플랫폼을 개발하는 기업에 책임을 물을 수 있는 입법을 마무리하고 있다.

editor@itworld.co.kr