“생성형 AI 워크로드 감당할 수 있는 기업, 20%도 안 돼” 시스코 조사

AI로 인해 인프라 워크로드가 증가할 것임을 인식하고 있는 기업은 95%에 달했지만, AI의 복잡한 요구사항을 처리할 만큼 충분히 유연한 네트워크를 갖춘 기업은 단 17%에 불과한 것으로 나타났다. 이런 격차를 고려하면 높은 열기에도 불구하고 AI가 대규모로 광범위하게 배포되기에는 아직 이르다고 볼 수 있다.
 

이는 시스코가 AI 기술에 대한 관심과 활용 능력을 측정하기 위해 8,000개 글로벌 기업을 대상으로 실시한 첫 ‘AI 준비도 지수(AI Readiness Index)’ 설문조사에서 드러난 중요한 시사점 가운데 하나다.

오픈AI를 비롯한 여러 기업에서 LLM을 출시하면서 지난 12개월 동안 AI에 대한 관심은 높아졌다. 시스코 네트워킹 비즈니스 부문 부사장 겸 총괄 관리자인 조나단 데이비슨은 “클라우드가 모든 산업을 바꾸어 놓은 것과 마찬가지로 앞으로 AI도 모든 산업을 변화시킬 것이다. LLM은 데이터 포인트가 수백만 개에서 수십억 개 규모로 커질 정도로 성장했고, 이에 따라 전보다 훨씬 더 많은 것을 할 수 있게 됐다”라고 말했다.

많은 전문가가 AI에는 막대한 잠재력이 있다고 생각한다. 대표적으로 IDC는 생성형 AI 서비스, 소프트웨어 및 인프라에 대해 기업이 지출하는 비용이 올해 160억 달러(약 20조 7,000억 원)에서 향후 4년 동안 폭발적으로 증가해 2027년에는 1,430억 달러(약 184조 8,000억 원)에 이를 것으로 전망했다.

그러나 대부분 기업은 아직 준비가 되지 않았다. 시스코 준비도 지수 설문에 참여한 기업 중 AI 기반 기술을 배포하고 활용할 준비가 완전히 됐다고 답한 기업은 14%에 불과하다.

AI를 위한 네트워크 준비

시스코는 현재 엔터프라이즈 네트워크 대부분이 AI 워크로드에 대비가 되지 않은 상태임을 확인했다. 많은 기업이 AI로 인해 인프라 워크로드가 증가할 것임을 알고 있지만, 복잡성을 처리할 만한 유연성을 완전히 갖춘 네트워크의 비율은 17%에 그쳤다.

시스코 연구팀은 “기업 23%는 현재 IT 인프라 내에서 새로운 AI 과제에 대처하기 위한 확장성이 제한적이거나 전혀 없는 상황이다. 3/4 이상의 기업은 AI로 인해 높아지는 성능 및 컴퓨팅 수요에 대응하려면 현재와 미래의 AI 워크로드를 지원하기 위해 데이터센터 GPU가 추가로 필요하게 될 것이다. 응답자 30%는 현재 네트워크의 지연과 처리량이 최적이 아니거나 부족하다고 답했으며, 48%는 미래의 요구 사항을 충족하기 위해서는 이런 부분에 대해 더 많은 개선이 필요하다는 데 동의했다”라고 밝혔다.

시스코 연구팀은 AI 워크로드 간의 빠른 데이터 전송을 촉진하기 위해서는 고대역폭 이더넷 인프라가 필수적이므로 대부분 AI 네트워크의 중심은 이더넷이 될 것으로 예상하면서, “이더넷 네트워크에 우선순위 흐름 제어(Priority Flow Control, PFC), 명시적 혼잡 알림(Explicit Congestion Notification, ECN)과 같은 소프트웨어 제어를 구현하면 특히 지연에 민감한 AI 워크로드를 위한 중단 없는 데이터 전송이 보장된다”라고 말했다. 

시스코는 AI 준비를 위해 기업에 AI 워크로드 간의 데이터 전송을 최적화하기 위한 네트워크 구성 자동화 툴을 구축할 것을 권장하며, “자동화는 수동 개입을 줄이고 효율성을 개선하며 인프라가 AI 워크로드에 동적으로 적응할 수 있게 해준다. 이런 요소의 조합에 따라 회사 I/O의 풍족 또는 부족함이 결정된다. 이는 AI 활용에 성공하는 기업과 실패하는 기업을 구분하는 요소가 될 것”이라고 전망했다.

시스코의 AI 전략

데이비슨에 따르면, 시스코는 기업이 네트워킹 및 보안 과제에 대처하는 데 도움을 제공하기 위해 다양한 노력을 기울이고 있다. 예를 들어, 최근 시스코는 기업에서 기존 데이터센터 이더넷 네트워크를 사용하여 AI 워크로드를 지원하는 방법을 정의하는 ‘AI/ML 애플리케이션을 위한 데이터센터 네트워킹 블루프린트(Data Center Networking Blueprint for AI/ML Applications)’를 공개했다.

시스코 측은 데이터센터 AI 블루프린트의 핵심 구성요소가 ASIC당 최대 25.6Tbps 대역폭을 지원하고 “현재 사용 가능한 하드웨어와 소프트웨어 기능을 통해 적절한 지연과 혼잡 관리 메커니즘, 텔레메트리를 제공해 AI/ML 애플리케이션의 요구사항을 충족하는” 시스코의 넥서스 9000(Nexus 9000) 데이터센터 스위치라고 설명했다.

또한 가상화 및 컨테이너 환경과 컨버지드 및 하이퍼컨버지드 인프라 옵션에 초점을 맞춘 레드햇, 엔비디아, 오픈AI, 클라우데라의 4가지 새로운 AI를 위한 시스코 검증 설계(Cisco Validated Designs) 블루프린트도 발표했다. AMD, 인텔, 뉴타닉스, 플래시스택 및 플렉스팟의 검증된 AI 모델은 이미 보유하고 있다. 

시스코는 이들 모델을 기반으로 앤서블(Ansible) 기반 자동화 플레이북을 구축하고 있다. 시스코는 고객이 시스코의 인터사이트(Intersight) 클라우드 기반 관리 및 오케스트레이션 시스템과 이를 함께 사용해 모델에 자체 데이터를 자동으로 주입하고, 네트워크 엣지와 데이터센터를 포함한 자체 인프라에서 사용 가능한 리포지토리를 구축할 수 있다고 설명했다.

자체 웹엑스(Webex) 협업 플랫폼에는 AI 기반 코덱을 추가했다. 시스코에 따르면, 여기에는 실시간 커뮤니케이션을 다시 정의하고 오디오 품질 문제를 해결해주는 생성형 AI 기능이 포함된다. 해당 오디오 코덱은 연결 상태가 좋지 않은 지역에서도 네트워크 상태에 관계없이 선명한 오디오를 제공한다.

AI로 인한 보안 과제

시스코 설문 조사에서 기업 97%는 AI 모델에 사용되는 데이터에 대한 어느 정도의 보호 수단을 두고 있으며, 68%는 이런 AI 모델에 대한 공격을 감지할 능력을 갖춘 것으로 나타났다. 

시스코 연구팀은 “AI 도입에 따르는 사이버보안 위협에 대한 준비 태세는 미흡하다. 기밀 데이터와 민감 데이터를 포함해 더 많은 데이터가 AI로 처리되므로 악의적 행위자가 이런 시스템을 대상으로 공격을 감행할 만한 유인 요소는 더 커지고, 그만큼 기업이 처한 위험도 더 높아진다”라고 지적했다. 

또한 리더의 1/4은 기업이 AI 워크로드와 관련된 보안 위협을 제한적으로 인식하거나 아예 인식하지 못하고 있다고 말했다. 다만 시스코는 기업 77%가 최소한 고급 암호화 또는 종단간 암호화를 구현해서 AI 모델에 이용되는 데이터를 보호하고 있다는 점은 고무적이라고 전했다.

그 외에 시스코의 AI 준비도 지수에서 흥미로운 점은 다음과 같다.

AI 관련 기술 중 배포가 완료된 비율이 가장 높은 것은 ML이다(35%). 현재 배포가 진행 중인 기술 중에서는 예측 AI와 생성형 AI가 각각 41%와 40%로 가장 많은 비율을 차지했다. 

AI 구축 시 전력 소비가 증가하고 있다. AI 모델에 내제된 복잡한 계산과 데이터 처리 작업은 기반 하드웨어, 특히 GPU와 데이터센터에서 더 많은 에너지를 필요로 한다. 시스코는 기업에서 더 높은 네트워크 대역폭, 더 높은 성능과 규모를 제공하고 전력 소비량은 줄일 수 있는 툴과 기술을 배포하는 방안을 고려해야 한다고 경고했다.

그러나 응답자 중 AI 환경의 전력을 최적화하기 위한 전용 인프라를 높은 수준으로 준비했다고 답한 응답자는 절반이 채 되지 않는 44%에 불과했다. 55%는 준비가 되지 않았거나 ‘어느 정도’ 준비돼 있다고 답했다. 시스코는 앞으로 AI 도입이 증가하면서 전력을 덜 소비하면서 더 많은 결과물을 생성하는 데 도움이 되는 기술을 채택하는 것이 경쟁 차별화 요소가 될 것으로 전망했다.

기술 공백과 리소스 부족은 여전히 과제로 꼽혔다. 절반에 가까운 응답자는(47%) 기업이 일반적인 수준의 리소스를 보유하고 있다고 답했다. 리소스가 매우 잘 갖춰져 있다고 느끼는 응답자(29%)와 리소스가 부족하거나 잘 모르겠다는 응답자(24%)의 비율은 거의 비슷했다. 직원 수가 1,500명 이상인 기업의 응답자들이 리소스가 부족하다고 느끼는 경우가 조금 더 많았고, 리소스 문제가 가장 큰 것으로 나타난 산업은 미디어, 통신, 교육, 천연자원이었다. 또한 응답자 37%는 AI 툴 및 기술에 대한 이해와 숙련도를 주요 기술 공백 항목으로 지목했다.

효과적인 데이터 분석 툴은 AI 애플리케이션 및 전체적인 데이터 전략과 밀접하게 연관된다. 전 세계 응답자의 2/3 이상(67%)은 복잡한 AI 관련 데이터 집합을 처리하는 분석 툴의 기능을 긍정적으로 평가했다. 그러나 설문 응답자의 74%는 사용 중인 데이터 소스 및 AI 플랫폼과 분석 툴이 완전히 통합지 않았다고 답했다. 실제로 응답자의 31%는 툴이 통합되지 않았거나(4%) 어느 정도만 통합돼 있다고(27%) 답했다.
editor@itworld.co.kr