자연어 생성의 편견과 기타 유해성에 대처하기

자연어 생성(Natural Language Generation, 이하 NLG)은 너무 강력해서 탈이다. NLG 기술은 매우 다양한 자연어 텍스트 콘텐츠를 빠른 속도로, 대량으로 생성할 수 있다.

“자동 완성” 프로그램에 슈퍼 파워를 더한 기술이라고 할 수 있는 NLG의 속도와 정교함은 계속해서 향상되고 있다. NLG를 활용하면 최종 초안에 사용되는 단어를 일일이 수동으로 지정하지 않고도 복잡한 문서까지 작성할 수 있다. 현재 NLG 접근 방법은 일정한 형식의 서신을 생성하기 위한 템플릿 기반의 메일 병합 프로그램부터 컴퓨터를 사용한 언어 알고리즘으로 무수히 많은 콘텐츠 유형을 생성할 수 있는 정밀한 AI 시스템에 이르기까지 다양하다.
 

GPT-3의 빛과 그림자

현재 가장 정교한 수준의 NLG 알고리즘은 사람이 쓴 방대한 텍스트 뭉치를 활용해 복잡한 통계 모델을 학습함으로써 사람이 하는 말의 세밀한 맥락을 배울 수 있는 수준이다.

2020년 5월에 등장한 오픈AI(OpenAI)의 GPT-3(Generative Pretrained Transformer 3)는 소수의 학습 예제를 기반으로 많은 유형의 자연어 텍스트를 생성할 수 있다. 이 알고리즘이 생성하는 뉴스 기사는 인간 평가자가 사람이 쓴 기사와 구분하기 어려울 정도다. 또한 첫 문장 하나 또는 단어 몇 개, 심지어 프롬프트만 갖고도 완전한 에세이를 생성할 수 있다. 음악의 도입부가 주어지면 곡을 작곡하고, 몇 줄의 HTML 코드만으로 웹페이지를 생성하기도 한다.

AI를 기반으로 작동하는 NLG는 갈수록 더 강력해지고 있다. 오픈AI는 GPT-3를 발표하면서 이 알고리즘이 최대 1,750억 개의 매개변수가 포함된 NLG 모델을 처리할 수 있다고 밝혔다. GPT-3가 유일한 NLG도 아니다. GPT-3가 발표되고 몇 개월 후 마이크로소프트는 최대 1조 개의 매개변수를 수용하는 모델을 효율적으로 학습시킬 수 있는 오픈소스 딥스피드(DeepSpeed)의 새 버전을 발표했다. 2021년 1월에는 구글도 스위치 트랜스포머(Switch Transformer)라는 자체 1조 매개변수 NLG 모델을 출시했다.
 

악성 콘텐츠 차단, 생각보다 어렵다

이러한 NLG 업계의 발전은 분명 놀랍지만, 이 기술의 막강한 힘이 최대 약점일 수도 있다. 좋은 의도로 NLG 툴을 사용한다 해도 이를 책임지는 사람들이 NLG 툴의 중단 없는 생산성에 속도를 맞춰 모든 세부 사항을 철저히 감수할 수는 없고, 결과적으로 NLG가 왜곡되거나 가짜이거나 모욕적이거나 타인의 명예를 훼손하는 글을 게시하더라도 NLG가 생성하는 텍스트의 공식 저자로 이름을 올리는 사람들은 그 사실을 인지하지 못할 수 있다.

GPT-3를 비롯해 NLG 모델의 구축과 학습에 사용되는 여타 AI 기반 접근 방법에서 이는 심각한 취약점이다. 인간 저자가 모델의 출력 속도를 따라가지 못하는 것도 문제지만, NLG 알고리즘 자체가 텍스트 데이터베이스를 통해 “학습하는” 많은 유해 콘텐츠(예를 들어 인종차별과 성차별을 비롯한 차별적 언어)를 정상적인 콘텐츠로 간주하게 되는 문제도 있다.

이러한 언어를 특정 주제 영역의 기반으로 수용하도록 학습된 NLG 모델은 부적절한 맥락에서 이와 같은 언어를 다량으로 생성할 수 있다. 기업의 대외 이메일, 웹, 채팅 또는 기타 서신에 NLG를 도입한 경우 충분히 우려할 만한 문제다. 자율적으로 작동하는 NLG 툴을 이와 같은 용도로 사용하는 경우 고객, 직원 또는 기타 이해당사자에게 의도하지 않게 편향적, 모욕적, 또는 불쾌한 표현을 보낼 수 있다. 또한 이로 인한 법적 소송 및 기타 위험에 노출되어 회복 불능 상태에 빠질 수도 있다.

최근 몇 개월 동안 GPT-3와 같은 NLG 모델에 포함된 종교, 성별 및 기타 편향성에 대한 관심이 높아졌다. 예를 들어 캘리포니아 버클리 대학, 캘리포니아 어바인 대학, 매릴랜드 대학의 과학자들이 공동으로 진행한 최근 연구에서 GPT-3는 여성 대명사 가까이에 “naughty” 또는 “sucked”와 같은 경멸적인 단어를, “Islam” 가까이에는 “terrorism”과 같은 선동적인 단어를 배치하는 것으로 밝혀졌다.

또한, 독립적인 연구원들은 GPT-2(GPT-3의 전 모델), 구글 BERT, 세일즈포스의 CTRL과 같은 NLG 모델에 역사적으로 불이익을 받아온 계층에 대해 위키피디아 텍스트 문서의 대표 그룹에서 발견된 것에 비해 더 광범위한 사회적 편견이 있다는 사실을 밝혀냈다. 캘리포니아 산타바라라 대학 연구원들이 아마존과 함께 실시한 이 연구는 편견을 “공통적인 특징이 있는 일련의 그룹 또는 개념에 대한 부정적이고 불공정하고 편견 또는 정형화된 인식이 포함된 텍스트를 생성하는 언어 모델의 경향”으로 정의했다.

AI 업계의 유력 인사들은 다양한 종류의 불쾌한 콘텐츠를 생성하는 경향을 보이는 GPT-3에 대한 우려를 표해왔다. 페이스북 AI 연구실 수장인 제롬 페센티는 여성, 흑인 및 유태인에 대한 텍스트 생성 요청에 대해 GPT-3가 생성한 편향적이고 부정적인 정서를 지적하며 “GPT-3는 안전하지 않다”고 말했다.

그러나 이 문제가 대중에 심각하게 인식된 계기는 구글이 윤리적 AI 팀의 한 연구원을 해고했다는 뉴스였다. 해고에 앞서 이 연구원은 제대로 관리되지 않는 텍스트 데이터 집합을 통해 학습된 대규모 언어 모델에 나타나는 인구통계적 편향성을 비판하는 연구에 공동 저자로 참여했다. 구글 연구 결과 이러한 편향적 NLG 모델을 배포할 경우 그 피해는 소외된 인종, 성별 및 기타 지역사회에 불균형적으로 더 크게 발생하는 것으로 나타났다.
 

NLG 모델의 유해성을 없애기 위한 기술 개발

이 문제의 심각성을 인지한 오픈AI와 스탠포드의 연구원들은 최근 GPT-3와 같은 대규모 NLG 모델에 필연적으로 유입되는 인구통계학적 편향성과 기타 유해성을 낮추기 위한 새로운 접근 방식을 촉구했다.

매우 크고 복잡한 NLG 알고리즘이 빠르게 확산되면서 미칠 사회적 파장을 감안할 때 이는 시급하게 해결해야 할 문제다. GPT-3가 출범되고 몇 개월 후 오픈AI는 마이크로소프트에 이 기술의 소스코드에 대한 독점적 사용권을 부여하는 한편 누구나 알고리즘에서 NLG 출력을 얻을 수 있도록 공개 API를 계속 제공할 것이라고 발표했다.

최근 한 가지 희망적인 일은 GPT-3의 무료 NLG 대안인 오픈소스 엘루더AI(EleutherAI) 이니셔티브의 출범이다. 이르면 2021년 8월에 GPT-네오(GPT-Neo)로 명명된 첫 버전을 출시할 예정인 엘루더AI 이니셔티브는 최소한 GPT-3의 1,750억 매개변수 성능과 대등한 성능을 내고 10억 매개변수까지 확장하면서 학습 데이터로부터 사회적 편견을 흡수하는 위험을 낮추기 위한 기능도 포함한다.

NLG 연구원들은 편견 및 기타 문제가 되는 알고리즘 출력을 줄이기 위한 다양한 접근 방법을 테스트하고 있다. 현재 NLG 전문가들은 다음을 포함한 일련의 원칙을 고수해야 한다는 데 공감대를 형성하고 있다.
 

• 소셜 미디어, 웹사이트 및 기타 다양한 인구 그룹, 특히 역사적으로 취약 계층이거나 불이익을 받아온 그룹에 대한 편향성이 포함된 출처에서 NLG 학습 데이터를 가져오지 않는다.
• 획득한 데이터 집합을 NLG 모델 개발에 사용하기 전에 사회적 편견을 찾아 정량화한다.
• 텍스트 데이터에서 인구통계적 편향성을 제거해 NLG 모델이 편향성을 학습하지 못하도록 한다.
• NLG 모델을 구축하고 학습하는 데 사용되는 데이터 및 가정에 대한 투명성을 보장하여 편향성이 항상 명확히 드러나도록 한다.
• NLG 모델에서 편향성 테스트를 수행해서 프로덕션 배포에 적합한지 여부를 확인한다.
• 사용자가 NLG 모델을 대상으로 몇 번을 시도해야 NLG 모델이 편향되거나 기타 모욕적인 언어를 생성하는지를 파악한다.
• NLG 시스템에 의해 생성되는 콘텐츠에 대한 부가적인 안전 필터 역할을 할 별도의 모델을 학습시킨다.
• 독립적인 제3자의 감사를 필수화해서 NLG 모델 및 관련된 학습 데이터 집합에서 편향성의 존재를 확인한다.

NLG 유해성은 다루기 매우 어려운 문제일 수도

위와 같은 접근 방법 중 어느 것도 NLG 프로그램이 다양한 환경에서 편향되거나 기타 문제의 소지가 있는 텍스트를 생성할 가능성을 완전히 없애지는 못한다.

NLG 업계는 확고한 접근 방식으로 유해성 편향적 콘텐츠 문제에 대처해야 하지만 상황은 어렵다. 최근 알렌인공지능연구소(Allen Institute for AI)의 NLG 연구원들이 수행한 연구에서 이 같은 사실을 명확히 볼 수 있다. 연구소는 GPT-3를 포함한 5개 언어 모델에서 웹 텍스트에서 파생된 10만 개의 프롬프트로 구성된 데이터 집합이 각 텍스트 출력의 독성(부정적인 단어 또는 정서의 존재)과 어떻게 관련되는지를 연구했다. 연구소는 또한 이러한 위험을 낮추기 위한 여러 접근 방법도 테스트했다.

안타깝게도, 연구원들은 현재의 완화 방법(유해하지 않은 데이터에 대한 부가적인 사전 학습, 생성된 텍스트를 필터링해서 키워드 스캔하기 등)은 유해성을 없애는 데 확실한 해결 방법이 되지 않는다는 사실을 발견했다. 게다가 연구원들은 사전 학습된 언어 모델은 겉보기에 무해한 프롬프트에서도 유해한 텍스트로 퇴보할 수 있는 것으로 파악했다. 또한 이로 인해 NLG 모델이 생성하는 언어의 유창함이 저하되는 문제 역시 우려되는 점이다.

명확한 길이 없다

NLG 업계가 기술적인 관점에서 이러한 문제에 대처하기에 앞서 규제 부담이 커질 가능성도 있다.

몇몇 업계 전문가는 제품과 서비스가 AI를 통해 텍스트를 생성할 때 이를 의무적으로 표시하도록 하는 규제의 필요성을 제안했다. 바이든 행정부에서는 “알고리즘 책임성”이라는 더 넓은 주제 하에서 NLG 편향성 제거에 대한 관심이 높아질 수 있다. 민주당 상원의원 3명이 발의했지만 이전 정부에서 아무런 결실을 맺지 못한 2019년 알고리즘 책임법(Algorithmic Accountability Act)이 다시 수면 위로 부상할 가능성도 충분하다. 이 법이 제정되면 기술 기업은 NLG를 도입한 프로그램과 같은 AI 프로그램을 대상으로 편향성 감사를 수행해야 한다.

오픈AI도 인정했듯이 NLG에서 생성하는 텍스트에서 사회적 편견 및 기타 유해 콘텐츠가 존재할 가능성을 없애는 빠르고 확실한 해결책은 없고, 이 문제가 GPT-3 구현에만 국한된 문제도 아니다. 오픈AI의 AI 정책 연구원인 샌디니 아가왈은 최근 특성에 대한 문화적 정의가 계속 바뀌는 만큼 범용적인 알고리즘 기반의 유해성 텍스트 필터는 실현이 불가능할 것이라고 말했다. 어느 콘텐츠든 받아들이는 사람에 따라 무해할 수도 있고 유해할 수도 있기 때문이다.

알고리즘 편향성이 NLG 업계 전체를 옥죄는 문제가 될 수 있음을 인지한 오픈AI는 편향성 및 기타 유해성 출력으로부터 GPT-3 모델을 보호하기 위한 충분한 안전 수단이 마련될 때까지 GPT-3에 대한 접근성을 전면적으로 확대하지 않을 것이라고 발표했다.

알고리즘 편향성 및 유해성이 해결하기 극히 어려운 문제임이 입증되고 있음을 감안하면, GPT-3 및 그 후속 NLG 모델이 만족할 만한 충분한 성숙도에는 영영 이르지 못할 가능성도 있다. editor@itworld.co.kr