[ITWorld 넘버스] 챗GPT를 운영하는 데 하루에 얼마나 들까

2022년 11월 30일. 생성형 AI '챗GPT'가 처음 공개된 이날이 훗날 어떻게 기억될지 아직 알 수 없다. 그러나 전대미문의 새로운 숫자로 확실한 족적을 남기고 있는 것은 분명하다. 특별한 광고도 없이 출시된 이 서비스는 불과 1주일 만에 사용자 100만 명, 2달 만에 1억 명을 넘어섰다. 사실상 인터넷 시대 이후 가장 빠르게 성장한 서비스다. 생성형 AI는 더는 텍스트에 머물지 않는다. 영상, 이미지, 음성을 만들어 주는 AI 서비스가 잇달아 등장했다. 이 모든 일이 불과 6개월 사이에 일어났다. 어쩌면 인류 IT 역사의 새로운 챕터가 시작되는 이 순간, 챗GPT를 이해하는 중요한 키워드와 숫자를 모았다.
 

 

파괴적인 "쩐의 전쟁"

챗GPT는 여행, 교육, 금융, 세무 등 다양한 앱과 업무에 빠르게 접목되고 있다. 상당수는 '핫한 유행'에 묻어가려는 무리수지만, 결과적으로 챗GPT를 사용할 수 있는 경로가 다양해졌다. 그렇다면 전 세계인의 질문에 답하는 챗GPT 시스템 운영 비용은 얼마나 될까? 컨설팅 기업 세미애널리시스에 따르면, HGX A100 서버 3,600여 대, 총 2만 8,900여 개 GPU 등 '하루에' 약 70만 달러, 우리 돈 9억 3,000만 원이다. 단, 이는 하드웨어 비용이다. 네트워크와 인력, 시스템 고도화 등을 고려하면 실제 비용은 훨씬 크다. 끝말잇기나 하는 만만한 서비스 같아도 사실은 '쩐의 전쟁터'인 셈이다.
 

• 챗GPT를 운영하는 데 필요한 컴퓨팅 하드웨어 비용 '하루 70만 달러'
  (LLM 모델을 이용한 검색 서비스 운영 비용 추정, Semianalysis)

실제로 챗GPT는 태생부터 금수저다. AI 기업 레티튜드는 GPT-3 모델 학습에 3,110억 테라플롭이 필요했을 것으로 추정한다. 현존 최강 슈퍼컴퓨터인 미국의 프론티어가 110만 테라플롭이므로, 개발 과정부터 천문학적 비용이 들어갔음을 알 수 있다. 만약 많은 이들이 말하는 것처럼 구글 검색을 챗GPT로 대체하면 어떨까? A100 HGX 서버 51만 대에 네트워크까지 포함해 장비 비용만 1,000억 달러, 134조 원이 든다. 구글의 1년 순익보다도 많다. 세미애널리시스는 이를 '파괴적'이라고 표현했다. 결국 챗GPT는 '파괴적인 쩐의 전쟁터'다. 마이크로소프트가 AI 전용 칩을 개발하는 이유다.
 

초안 작성 시간

챗GPT가 이렇게 인기를 끈 가장 큰 이유는 생산성을 높여줄 것이라는 기대다. 그렇다면 챗GPT가 어떻게, 얼마나 업무 생산성을 높여주는 것일까? MIT 경제학 박사과정생 2명이 흥미로운 실험을 통해 이 까다로운 문제의 해답을 제시했다. 대졸자 444명을 두 그룹으로 나눈 후 이메일, 짧은 보고서, 분석 계획서 등을 작성하게 했다. 한 그룹엔 문서 편집기를, 다른 한 그룹엔 챗GPT를 사용하도록 했고, 각 그룹이 내놓은 결과물의 품질을 평가했다. 그 결과 챗GPT를 사용한 그룹은 작업 시간이 30분에서 17분으로 줄어들었다. 문서의 품질은 7점 만점 중 4점에서 4.7점으로 상승했다.
 

• ChatGPT를 사용한 후 글쓰기 작업 시간 '30분→17분'
  (생성형 AI의 생산성 효과에 관한 실험적 증거, Shakked NoyㆍWhitney Zhang)

이 실험의 가장 흥미로운 대목은 지금부터다. 문서 작성 시간을 분석해 보면, 보통 브레인 스토밍에 25%, 초안 작성에 50%, 편집에 25%를 사용한다. 이중 챗GPT가 활약하는 부분이 초안 작성이다. 논문에 따르면, 챗GPT를 통해 초안 작성 시간이 1/3로 줄어들었다. 챗GPT가 생산성을 높이는 결정적인 이유다. 브레인 스토밍 시간도 절반으로 줄었고, 편집 시간은 기존과 큰 차이가 없었다. 정리하면 브레인 스토밍, 초안 작성 시간을 크게 줄이고, 편집 작업에 집중함으로써 생산성과 품질이 높아진 셈이다. 실험 참가자는 월급의 0.5%까지 챗GPT 구독료로 낼 의향이 있다고 했다.
 

악용하거나 유출하거나

챗GPT의 잠재력과 유용성에 이목이 집중되고 있는 가운데 부작용 혹은 악용에 대한 우려도 커지고 있다. 예를 들어 현재 챗GPT에 피싱 이메일을 써달라고 하면 윤리에 어긋난다며 답을 주지 않는다. 하지만 간접적인 방법은 얼마든지 있다. 이미 써놓은 피싱 이메일을 입력하고 비슷한 글을 써달라고 하면 챗GPT는 다양한 버전의 피싱 이메일을 순식간에 만들어준다. 기업 실무자의 걱정은 더 크다. 소프트웨어 기업 블랙베리가 영국 내 IT 의사결정권자 500명을 설문 조사한 결과, 절반에 가까운 48%가 챗GPT를 악용한 대규모 사이버 공격이 향후 12개월 이내에 현실화할 것이라고 답했다.
 

• “ChatGPT를 회사에서 사용해 봤다” 8.2%
  (직원 3.1%가 민감한 기업정보를 ChatGPT에 입력했다, Cyberhaven)

기업이 절대 피하고 싶은 상황은 또 있다. 바로 챗GPT와의 대화 내용이 다른 사람에게 유출되는 것이다. 실제로 지난 3월 대화 제목이 다른 사용자에 노출되는 결함이 확인됐다. 만약 주주총회를 앞두고 실적 보고서, 신사업 자료 등 민감한 정보를 챗GPT에 입력해 텍스트를 정리하도록 했는데, 다른 사람이 챗GPT를 통해 이 정보를 입수한다면 어떻게 될까? 리서치 기업 사이버헤이븐에 따르면, 직원이 챗GPT에 붙여 넣는 내용 중 11%가 민감한 정보다. 영국 국립사이버보안센터 등은 챗GPT에 입력한 내용을 다른 사용자 혹은 챗GPT 운영업체가 들여다 볼 수 있다고 우려한다.
    

두 번째 올인

챗GPT 열풍의 최대 수혜자는 단연 마이크로소프트다. 존재감 없던 검색엔진 '빙'에 챗GPT를 통합하자, 한 달 만에 일일 활성 사용자가 1억 명을 돌파했다. 마이크로소프트는 기세를 몰아 생산성 앱 오피스부터 게임기 엑스박스까지 거의 모든 제품에 챗GPT 기술을 통합한다는 구상이다. 물론 마이크로소프트는 이렇게 할 자격이 있다. 챗GPT를 개발한 오픈AI에 일찍부터 뭉칫돈을 넣었다. 2019년 10억 달러(약 1조 3,371억 원)를 투자했고, 올해 초에는 1만 명 해고 계획을 발표한 와중에도 100억 달러(13조 3,711억 원)를 추가로 내놓았다. 적용 제품과 투자 규모를 고려하면 사실상 '올인' 전략이다.

사실 마이크로소프트에 이번은 두 번째 '올인'이다. 첫 번째는 10년 전 클라우드였다. 새로 CEO로 취임한 사티아 나델라는 IaaS, PaaS 등 클라우드 사업을 강화한 것은 물론, 윈도우와 오피스 등 전통적인 캐시카우 사업에 클라우드, 즉 구독제 방식을 도입했다. 그렇게 불법복제 문제를 해결하고, 예측 가능한 거대 매출원을 갖게 됐다. '본진'을 튼튼히 한 마이크로소프트는 클라우드 시장 '원정'에 본격적으로 나설 수 있었다. 다시 10년이 지난 지금 챗GPT가 마이크로소프트의 새 혁신 엔진이 될지는 미지수다. 그러나 '기술 선두 주자'로 사뭇 다른 입지를 확보한 것만 해도 꽤 인상적인 출발이다.
 

• 빙 검색엔진 일일 활성 사용자 '1억 명'
  (새로운 빙과 엣지 현황, Microsoft)

9억 원, 1억 명, 100억 달러 등 챗GPT를 둘러싼 숫자는 그 자체로 압도적이지만, 사실 더 놀라운 것은 챗GPT가 업무에 파고드는 속도다. 'AI 환각' 등 규명해야 할 숙제가 많음에도 너무 쉽게 기업 환경에 입성하고 있다. 특히 기업이 군침을 흘리는 것은 챗GPT로 초급 개발자를 대체하는 구상이다. 능숙한 중급 개발자가 챗GPT를 이용하면 초급 개발자 없이 일할 수 있고 막대한 인건비 절감으로 이어진다. 그러나 혼잡한 도로를 뻥 뚫린 길로 인식하는 '환각' 자율주행차를 누가 타려 할까? 어쩌면 우리는 당장의 비용 절감에 '홀려' 감당할 수 없는 기술적 부채를 쌓고 있는 것일지도 모른다.

세상의 모든 IT 리서치 자료, '넘버스'
여기서 소개한 모든 자료는 넘버스 서비스에서 찾을 수 있다. 넘버스는 IT 전문 미디어 ITWorld가 제공하는 IT 리서치 자료 메타 검색 서비스다. 가트너, IDC 등 시장조사 전문 업체의 자료는 물론 IT 기업, 민간 연구소 등의 자료를 한 번에 검색할 수 있다. 자료의 원제목과 원문 링크, 자료 조사 주체와 자료 발행 일자도 함께 확인할 수 있다.

sanghun_park@idg.co.kr