“CDN 캐시 서버에 AI 칩을 넣는다면?” 지코어가 제안하는 비용 효율적인 AI 구축 전략

바야흐로 AI 시대다. 챗GPT가 불과 2달 만에 사용자 1억 명을 모으며 대성공을 거둔 이후 다양한 AI 서비스가 우후죽순 등장했다. 상당수는 무료 버전으로도 사용하는 데 무리가 없다. 그렇다면 이들 AI 서비스는 어떻게 수익을 낼까? 수익 없이 얼마나 더 운영될 수 있을까?

가트너의 AI 하이프 사이클 보고서에 따르면, AI는 이미 지난해 '부풀려진 기대의 정점(peak of inflated expectations)'에 도달했다. 상용화 2년 만에 이 단계에 진입한 기술은 AI가 처음이다. 더 놀라운 것은, 2025년이면 '환멸의 계곡(trough of disillusionment)'에 빠질 것이라는 전망이다. 부풀려진 기대에서 깨어나 투자와 관심이 줄어드는 시기다. 과거 야후, 라이코스, 알타비스타 같은 유명 검색엔진이 이 환멸의 계곡 시기를 버티지 못하고 사라졌다.

 

AI 업계 전체가 이 어려운 시기를 견디고 AI 기술이 '생산성의 안정 단계(Plateau of Productivity)'에 접어들 때까지 지속적으로 발전할 수 있는 방법을 찾아야 한다.
 

"CDN 서버에 AI 칩을 심으면?"

지난 21일 한국IDG가 ‘지속적인 비즈니스 성장을 이끄는 AI 및 클라우드'를 주제로 진행한, <클라우드 & AI 리서치 서밋 2024> 행사에서, 김진용 지코어 코리아 팀장은 이런 방법을 찾는 출발점으로 AI 서비스를 구성하는 핵심적인 두 요소, 즉 학습과 추론을 구분해 효율성을 검토할 것을 제안했다.

현재 대부분 AI 서비스는 학습과 추론을 구분하지 않고 고가의 GPU 칩을 활용해 작업을 처리한다. 하지만 학습 관련된 작업이 아니라 이미 만들어진 모델로 추론하는 작업이라면 굳이 값 비싼 GPU가 필요하지 않다. 따라서 학습과 추론을 분리해 각각에 필요한 최적화된 인프라를제공하면 전체 AI 서비스의 비용 효율성을 극대화할 수 있다. 스퀴즈비츠 같은 기업이 추론 과정에 필요한 메모리와 연산량을 줄인 경량화된 AI 모델을 만드는 것도 이런 고민의 결과다.

김진용 팀장에 따르면, 지속가능한 비용 효율적인 AI 서비스를 고민할 때 고려해야 할 또 다른 요소가 바로 네트워크다. 김진용 팀장은 "더 정확히 말하면 CDN 네트워크 속 캐시 서버에 AI 처리에 특화된 칩을 심는 아이디어다. 기존 캐시 서버는 이미지나 영상을 빠르게 보내는 역할을 해 왔다. 그런데 이 서버에 엔비디아 L40S 같은 작지만 강력한 AI 칩을 넣으면 어떨까? 전 세계에 펼쳐져 있는 CDN 네트워크를 통해 필요한 사용자에게 가장 가까운 캐시 서버에서 AI 작업을 처리할 수 있다"라고 말했다. 이는 일종의 서버리스 방식이므로 확장성이 뛰어나고 실시간으로 작동한다. CDN 서비스 업체가 컴퓨팅 파워부터 로직까지 담당하므로 AI 서비스 기업은 관리 부담을 덜고, 서비스 사용자는 더 편리하게 원하는 서비스를 쓸 수 있다.

이렇게 되면 AI 추론 작업을 처리하는 과정이 완전히 달라진다. <그림 1>과 같이 기존 컴퓨팅 환경에서는 프론트엔드, 보안, 백엔드, 데이터베이스가 사용자의 반대편, 한쪽으로 몰려 묶여 있는 반면, 서버리스 컴퓨팅 환경에서는 PC나 스마트폰의 컴퓨팅 성능을 이용해 즉, 프론트엔드 기능의 일부를 직접 담당해 효과적으로 AI 작업을 처리할 수 있다. 보안이나 백엔드, 데이터베이스 기능 역시 전문 업체를 통해 외부에서 처리할 수 있다. 결과적으로 AI 서비스 기업은 백엔드 전체를 더 유연하고 비용 효율적으로 운영할 수 있다.
 

이처럼 CDN 캐시 서버에 AI 칩을 넣어 '엣지 AI'를 구성하면 스마트 라우팅이 가능해진다. 사용자 혹은 AI 서비스 기업의 설정에 따라 빠른 응답이 필요하면 엣지에서 처리하고, 더 많은 컴퓨팅 파워가 필요하면 충분한 처리 역량을 지원하도록 연결한다. 모델 응답을 캐시하는 것도 가능하다. 보통 아침에 일어나 가장 먼저 AI에 물어보는 질문은 오늘의 날씨일 것이다. 이런 질문을 미리 캐시 서버에 설정해 두면 더 빠르게 서비스할 수 있다. 콘텐츠를 즐길 때 사용자가 CDN을 통해 누리던 혜택이 AI 서비스에도 그대로 적용된다.

김진용 팀장은 "지역 특성에 맞춰 AI 서비스를 맞춤화할 수도 있다. 글로벌 서비스를 하다 보면 정치적인 문제 등으로 지역에 따라 답변을 다르게 내놓아야 하는 경우가 있다. 엣지 AI를 활용하면 실제 사용자의 위치에 따라 적절하게 작동하도록 할 수 있다"라고 말했다.
 

지코어 '엣지 AI'가 특별한 이유

캐시 서버에 컴퓨팅 파워를 할당해 CDN 같은 AI를 구현해 비용 효율적이고 지속가능한 서비스 방식을 만들자는 아이디어 자체는 간단하다. 그러나 이런 서비스를 실제 구현하려면 전 세계 규모의 빠른 네트워크가 필수적이다. 거대 클라우드 업체도 이런 네트워크를 확보한 기업은 거의 없다.

김진용 팀장은 "지코어가 AI 플랫폼과 엣지 AI를 내놓을 수 있었던 것도 전 세계 규모의 초고속 CDN 네트워크를 확보하고 있기 때문이다. 지코어는 IPU(Intelligent Processing Unit), 엔비디아 GPU, 머신러닝 가속 클라우드 인프라 등을 퍼블릭/프라이빗 방식으로 지원한다. 전 세계 160곳 이상의 캐시 서버를 통해 183개국에 초고속 CDN 서비스를 운영 중이다"라고 말했다.

지코어의 엣지 AI 운영 방식은 <그림 2>와 같다. 서울 사용자와 뉴욕 사용자가 있다면, 이들은 보안 기능이 통합된 단일 서비스 UI를 통해 접속한다. 서울 사용자는 한국 CDN 노드로, 뉴욕 사용자는 미국 CDN 노드로 연결된다. 프론트 엔드의 기능 일부를 이들 노드에 배치해 더 빠르게 처리할 수 있다.
 

이제 두 사용자는 스마트 라우팅을 통해 분류된다. 간단한 로직은 엣지 노드에서 바로 처리한다. 반면 그 이상의 컴퓨팅이 필요할 때가 있다. 예를 들어 청소 로봇의 경우 평상시에는 문제가 없지만 애완견 같은 인식 대상이 추가되면 새로운 연산 작업이 요구된다. 이럴 때는 더 강력한 연산을 지원하는 시스템으로 넘겨 계산하게 된다.

이외에도 AI 서비스를 제공하는 기업이 필요로 하는 모델이 있으면 마켓플레이스에서 즉시 로딩해 사용하거나 자체 학습 모델을 사용해 처리하는 것도 가능하다. 이런 모델을 빠르게 불러오고 사용 이후 할당한 리소스를 해제하려면 빠른 네트워크가 필요하다. 지코어의 글로벌 CDN과 서버리스 컴퓨팅을 결합했을 때 강력한 시너지가 나는 이유다.

마지막으로 남은 문제는 보안이다. 최근 저렴한 애완견 모니터링 기기가 큰 인기를 끌고 있는데, 이는 곧 외부에서 우리집을 볼 수 있다는 의미이기도 하다. AIoT(Artificial Intelligence of Things) 아키텍처가 필요한 이유다. 로보틱스, 자율주행차까지 고려하면 보안의 중요성은 더 커진다.

김진용 팀장은 "AI 보안의 핵심은 사용자의 데이터가 얼마나 안전하게 AI 핵심 시스템까지 전달되느냐다. 해법은 5G 모바일 제로트러스트 네트워크를 구성하는 것이다. 지코어는 인프라 투자 없이 제로 트러스트 5G 프라이빗 네트워크를 지원한다. 다양한 IoT 기기에서 별도의 VPN이나 와이파이 없이도 전 세계에서 보안 네트워크에 연결할 수 있다. 모든 트래픽은 암호화되어 글로벌 네트워크를 통해 라우팅된다"라고 말했다.
 

AI 시대를 살아갈 미래 세대를 위한 준비

지난해 챗GPT를 서비스하는 오픈AI의 파산 가능성을 제기한 보도가 있었다. 결과적으로는 잘못된 전망으로 정리되고 있지만, 더 비용 효율적인 AI 서비스 방안에 대한 고민이 필요하다는 것은 분명하다.

김진용 팀장은 이런 고민에 추가해야 할 한 가지로 AI의 윤리성을 꼽았다. 김진용 팀장은 "AI가 전 산업으로 급속히 확산하면서 현재는 물론 미래 세대의 삶에도 막대한 영향을 줄 수 있다는 분석이 나오고 있다. GDPR 같은 법률이 이미 시행 중이고 AI를 규제하는 국가는 점점 더 늘어날 것이다. 지속가능한 AI에 대한 논의는 미래를 위한 고민이기도 하다"라고 말했다.

마지막으로 김진용 팀장은 "이번 행사에서는 CDN과 AI를 결합하는 방안을 살펴봤지만 이것만이 비용 효율적이고 지속가능한 AI 서비스를 구현하는 유일한 해법은 아니다. 앞으로 더 다양한 논의가 이뤄지길 기대한다"라고 말했다.
editor@itworld.co.kr