글로벌 칼럼 | “거부하기 힘든 독 사과” 생성형 AI로 코딩하기

챗GPT, 빙챗, 구글 바드 같은 생성형 AI 모델이 엄청난 효율성을 가져다준다는 점에는 이견이 없다. 그러나 동시에 정확성에 대한 우려, 그리고 사이버 보안 및 프라이버시에 대한 문제가 함께 대두되고 있다.



먼저, 생성형 AI 모델 특히 챗GPT 같은 프로그램이 없는 사실을 지어내고 거짓말을 반복하는 문제는 이미 잘 알려져 있다. 이를 '환각(hallucinations)'이라고도 부른다. 그러나 더 우려스러운 것은 이런 거짓말이 왜, 어떻게 일어나는지를 이해하는 사람이 아무도 없다는 점이다.

CBS의 인터뷰 프로그램 60분(60 Minutes)에서 구글 CEO 순다르 피차이는 “업계 모든 사람이 ‘블랙 박스’라고 부르는 현상이 있다. 완전히 이해된 문제는 아니다. 왜 생성형 AI가 이런 거짓말을 하는지 아무도 모른다”라고 말했다. 챗GPT와 다양한 생성형 모델의 기반을 만든 오픈AI(OpenAI)가 모델 훈련 방식의 세부 정보를 밝히지 않아서 혼란이 더 증폭되고 있다.

생성형 AI가 반복해서 거짓말을 하고 있지만 그럼에도 기업은 생성형 AI 모델을 거의 모든 업무에 접목하고 있다. 아무도 이 현상이 일어나는 원인을 모르고 있으며 당장 이 문제를 해결할 방법도 보이지 않는 것 같다. 매우 심각한 문제가 아닐 수 없다.

긴 문서를 요약하는 것처럼 평범한 작업을 생각해 보자. 이 요약한 내용이 정확하다는 것을 신뢰할 수 없다면 도대체 무슨 이익이 있을까? 이런 작업 자체가 가치가 있는 일일까? 생성형 AI로 코딩을 시키는 경우도 마찬가지다. 챗GPT가 설계한 시스템이 장착된 전기 자동차를 과연 안심하고 탈 수 있을까? 혼잡한 도로가 뻥 뚫려 있다는 '환각'이 발생한다면 어떻게 될까? 이런 일이 비행기의 주행 안내 시스템이나 스마트 심박세동기, 의약품이나 아침 식사용 시리얼을 만드는 제조 공정에서 일어난다면?

1983년에 개봉한 영화 워게임(Wargames)은 정확히 이런 일을 예상한 것 같다. 핵 전쟁의 효과적인 반격 무기로 미국 국방부에서 사용한 생성형 AI 시스템을 소재로 삼았다. 영화 속에서 이 시스템은 미국 항공우주방위사령부(NORAD)에서 사용됐고, 어느 시점에 자체 테스트를 실행하기로 판단하고 러시아에서 대규모의 핵 미사일 공격이 곧 닥칠 것이라고 꾸며냈다.

영화에서는 소름이 끼칠 정도로 예언적인 순간에 개발자가 시스템이 ‘환각’을 보고 있다고 말한다. 실제로 AI 커뮤니티에서 환각이라는 용어가 쓰이기 수십 년 전에 나온 장면이다(참고로 환각이라는 단어를 같은 의미로 맨 처음 언급한 사례는 2018년 구글이다). 결국 영화에서 NORAD 고위 인사들은 가상의 공격을 피하기 위해 AI 시스템이 자체적으로 보복 공격을 단행할 수 있도록 지휘권을 넘겨준다(40년 전 공상과학 영화는 이렇게 설정했지만, 지금의 상황은 그 정도는 아니다).

이처럼 생성형 AI를 코딩에 사용하는 것에는 위험이 따르지만, 효율성이 높기 때문에 기업 경영진에겐 거부할 수 없는 유혹이다. 이에 대해 AWS의 AI와 ML 서비스 부사장인 브라틴 사하는 꼭 어느 한쪽만을 선택할 필요는 없다고 주장한다.

생성형 AI를 코딩에 활용해 얻는 효율성이 매우 크기 때문에 개발 후 보완하는 과정에 필요한 충분한 예산을 확보할 수 있다는 것이다. 이런 예산을 활용해 자동화된 소프트웨어와 전문가를 투입해 샌드박스에서 대규모의 보안과 기능 테스트를 수행할 수 있다고 사하는 설명했다.

AWS에 따르면, 생성형 AI를 사용해 소프트웨어 개발 효율성을 무려 57%나 향상할 수 있다. 특히 비숙련 코딩 인력을 대체하는 효과가 크다. 사하는 컴퓨터월드와의 인터뷰에서 "우리는 생성형 AI를 대량의 고품질 코드로 훈련시켰는데, 효율성은 작업이나 숙련 수준에 따라 달라진다. 이제 막 프로그래밍을 배우기 시작한 코딩 인력은 라이브러리나 코딩을 잘 모르기 때문에 생성형 AI를 활용하는 데 한계가 있다”라고 말했다.

또다른 문제는 보안이다. 민감한 데이터를 생성형 AI에 입력하면 이 민감한 데이터가 다른 곳에 노출될 수 있다. 실제로 요약 작업을 위해 시스템에 입력한 데이터가, 예를 들어 질문에 대한 답변의 형태로 다른 기업에게도 제공될 수 있음이 확인되기도 했다. 본질적으로 질문과 시스템에 입력된 데이터는 AI 학습 과정의 일부가 되기 때문이다.

사하는 생성형 AI 시스템에 데이터 유출을 최소화하기 위한 안전 장치를 도입될 것으로 전망했다. 실제로 AWS 버전의 생성형 AI는 사용자가 입력한 내용을 다른 답변에 활용할 수 없도록 제한할 수 있다. 그는 “AI가 받은 특정 콘텐츠에서 답변을 생성하는 목적으로만 모델을 사용하는 방법도 있다. 모델이 정보를 얻는 출처를 포함할 수도 있다”라고 말했다. 사하는 AI의 환각 문제에 대해서도 이를 최소화하는 방법을 찾고 있다. AWS의 코드 생성 엔진인 코드위스퍼러(CodeWhisperer)가 머신러닝 기술을 이용해 보안 오류를 찾아낸다.

단, 이런 사하의 주장은 생성형 AI를 활용하는 효율성이 매우 높아서 기업이 코딩 후 분석에 추가 자원을 쏟아도 될 정도라는 것을 전제로 한다. 이렇게 해도 CFO가 미소를 지을 수 있을 만큼 생성형 AI에서 건실한 ROI가 나와야 한다는 의미다.

그렇다면 정말 이런 위험을 무릅써도 될 만큼 가치가 있는 것일까? 영화 대부의 유명한 장면이 떠오른다. 주인공 돈 콜리오네는 다른 마피아 일가의 수장들에게 마약 판매에 반대하는 이유를 설명한다. 다른 마피아 수장은 원래는 자신도 마약 판매에 반대했지만 엄청난 수익에 굴복했다고 말한다.

이 수장은 “나도 마약을 믿지 않는다. 몇 년 동안 우리 조직 사람들이 마약 유통에 손대지 않게끔 충분한 급료를 지불했다. 그러나 마약을 다루는 사람이 와서 3,000~4,000달러만 투자하면 5만 달러를 금세 벌 수 있다고 말하면 아무도 유혹을 참지 못할 것이다. 우리 사업을 존경할 수 있는 형태로 통제하고 싶다. 학교 근처에서 마약을 파는 것도 아이들에게 파는 것도 싫다”라고 말했다.

다른 말로 하면 CISO와 CIO조차도 보안 위험과 효율성의 교환이 위험하고 수용불가능한 점을 알아챘지만, 영업 부문 경영진은 절감되는 비용이 너무나 강력해서 저항할 수 없다고 생각한다는 뜻이다. CISO가 최소한 안전 장치를 마련하려고 하는 것도 이 때문이다.

NTT의 사이버 보안 담당 이사 더크 호지슨은 생성형 AI를 코딩에 활용할 때 주의해야 한다고 당부했다. 그는 “소프트웨어 개발에는 현실적 위험이 따르며 생성형 AI가 어째서 올바른 답이 아니라 잘못된 답을 만들어내는지를 설명할 수 있어야 한다”라고 말했다. 

이는 결국 생성형 AI의 성과가 사업과 코딩 작업의 본질에 따라 크게 달라질 수 있음을 의미한다. 호지슨은 “실제로 AI가 큰 성공을 거둔 사례를 살펴보면 모두 실패 비용이 적은 경우였다. 즉 무언가가 잘못된다고 해도 손해가 적은 분야였다"라고 말했다.

대표적인 사례가 엔터테인먼트 기업이 생성형 AI로 프로그램이나 방송 대본 내용에 대한 아이디어를 얻는 것이다. 이런 상황에서는 AI가 없는 사실을 지어낸다고 해도 큰 문제가 안된다. 왜냐하면 무언가를 만들어내는 것이 실제 작업(의 본질)이기 때문이다. 물론 저작권이 있는 자료에서 아이디어나 대화를 표절하는 위험성은 존재한다.

또한 의도하지 않은 보안 허점이라는 중요한 프로그래밍 위험도 있다. 하나의 애플리케이션 안에서 보안 허점이 생길 수도 있지만, 2개의 다른 앱이 상호작용하면서 보안 허점을 만들어내는 일도 쉽게 일어날 수 있다. 이런 상황에서는 앱끼리의 상호작용을 예상한 사람이 아무도 없었기 때문에 관련 테스트도 하지 않았을 것이다. 여기에 API 코딩까지 추가하면 문제가 일어날 가능성이 더 커진다.

호지슨은 “몇몇 기반 데이터베이스를 악용하는 새로운 방법처럼 실수로 코딩 시점에 새로운 취약점을 만들어낼 수도 있다. AI를 쓰면 어떤 허점이 코드에 심어졌는지를 알 수가 없다. 물론 AI 코딩이 확산하고 있고 장점도 있다. 이 장점에서 최대한의 이익을 얻어내야 한다는 점은 자명하다. 그럼에도 우리는 AI 코딩이 만들어낼 책임감을 정말로 이해하고 있는가? 그 점까지는 아직 모르는 것 같다. 현 단계에서의 기업 정책은 AI 코딩을 사용하지 않는다는 것뿐이다”라고 말했다.

호지슨은 AI가 초보 코딩 인력을 대체할 때 효율성이 매우 높다는 사하의 발언에 공감했다. 그러나 초보 프로그래머가 프로그래밍을 하지 못하게 하고 AI에게 맡겨야 한다는 주장에는 반대했다. 그는 “초보 코딩 인력을 훈련시키지 않으면 숙련된 코딩 인력을 얻을 수 없다. 초보자는 훌륭한 숙련 프로그래머가 되기 위한 기술을 배워야만 한다”라고 말했다.
editor@itworld.co.kr