쿠버네티스와 클라우드 인프라의 미래 : 복잡성, 가시성, 추상화, 자동화, 가상화, 엣지

지난 10년 동안 클라우드 서비스 업체와 기업 고객이 가상머신 계층 대신 컨테이너 클러스터에서 애플리케이션과 서비스를 실행하는 방향으로 전환함에 따라 쿠버네티스는 클라우드 네이티브 컴퓨팅과 엔터프라이즈 소프트웨어 전반에서 지배적인 위치를 차지해 왔다. 하지만 클라우드 네이티브 컴퓨팅 재단(CNCF)의 2023년 연례 설문조사(2023년 8월부터 12월까지 실시)에 따르면, 44%의 조직이 아직 프로덕션 환경에서 쿠버네티스를 사용하지 않는 것으로 나타났다. 이와 같은 조사 결과는 온프레미스 환경이 많은 엔터프라이즈 시장에서 쿠버네티스의 성장 가능성이 여전히 크다는 것을 의미한다.
 

쿠버네티스의 발목을 잡는 것은 무엇일까? CNCF 설문조사에서 해마다 발견되는 것처럼, 컨테이너를 사용할 때 기업이 직면하는 가장 큰 문제는 여전히 복잡성, 보안, 모니터링이며, 최근 설문조사에서는 개발팀의 교육 부족과 문화적 변화가 그 뒤를 이었다. 쿠버네티스가 대표하는 모놀리스에서 마이크로서비스로의 극적인 여정에서 이런 과제는 그리 놀라운 것은 아니다. 하지만 2025년까지 새로운 디지털 워크로드의 95% 이상이 클라우드 네이티브 인프라에 배포될 것으로 예상하는 가트너의 전망에 따라 이런 과제가 더욱 커질 것으로 예상하는 사람도 있다.

하지만 해결책은 이미 나와 있다. 내부 개발자 플랫폼과 같은 새로운 소프트웨어 개발 접근 방식부터 리눅스 커널의 클라우드 네이티브 기능을 확장하는 eBPF와 같은 혁신에 이르기까지, 클라우드 인프라의 흥미로운 발전이 곧 시작될 것이다. 업계를 근본적으로 변화시키는 이런 설계 패턴, 오픈소스 도구 및 아키텍처는 쿠버네티스의 복잡성과 확장 문제를 해결하고 오늘날 우리가 알고 있는 클라우드 인프라를 발전시킬 것이다.
 

클라우드 네이티브의 복잡성 줄이기

쿠버네티스가 주류 시장에서 번창하기 위해서는 사용성 개선이 필요하다. 브로드컴의 연구 개발 디렉터인 제임스 워터스는 “쿠버네티스는 모든 클라우드의 인프라에 액세스하기 위한 놀라운 표준 API지만, 이를 엔터프라이즈급 플랫폼으로 만들기 위해서는 많은 작업이 필요하다”고 지적한다.

오픈소스 세계에서는 마찰을 줄이기 위해 내부 개발자 플랫폼으로 이 문제를 해결하고 있으며, 퍼블릭 클라우드 서비스는 컨테이너 인프라의 관리를 용이하게 하는 솔루션을 제공하고 있다. 그럼에도 불구하고 워터스는 진입 장벽을 낮추는 컨테이너용 엔터프라이즈 애플리케이션 플랫폼이 필요하다고 생각한다.

워터스는 “개발자는 셀프서비스 API에 대한 액세스를 원하지만, 항상 가장 낮은 수준에서 제공되는 것은 아니다. API는 서비스형 VM이나 서비스형 컨테이너가 아니다”라며, “개발자는 생산성을 높이기 위해 서비스형 애플리케이션 런타임 이상의 것이 필요하다”고 강조했다. 주요 클라우드 서비스 업체는 말할 것도 없고 VM웨어, 라파이(Rafay), 미란티스, 큐브스피어, D2IQ 등도 엔터프라이즈 컨테이너 관리의 사용성을 높이기 위해 노력하고 있다.

많은 전문가가 전반적으로 제품의 복잡성을 대폭 줄여야 한다는 데 동의한다. 시스코의 클라우드 네트워킹 및 보안 담당 부사장인 토마스 그라프는 “클라우드 네이티브 오픈소스 기술의 복잡성은 일반 기업이 감당하기에는 너무 높다"고 지적했다. 또, 규정 준수와 보안이 많은 온프레미스 브라운필드 상황에서 클라우드 네이티브 기술 패턴을 채택하는 데 있어 일반적인 장벽이라고 덧붙였다.
 

클라우드 자원 사용량에 대한 가시성 향상

대부분 기업은 이미 여러 클라우드를 동시에 사용한다. 애널리스트들은 이런 현상이 더욱 보편화될 것이며, 이에 따라 더 많은 크로스 클라우드(Cross Cloud) 관리가 필요하다고 말한다. 가트너의 VP 애널리스트 시드 나그는 “크로스 클라우드 통합 프레임워크에서는 데이터와 워크로드가 통합되어 클라우드 전반에서 협업적으로 운영된다. 이를 통해 모든 클라우드 간 연결, 적응형 보안, 중앙 관리가 가능해질 수 있다”고 설명했다.

클라우드 상의 움직임에 대한 인식을 높이는 방법 중 하나는 어그노스틱 로깅(Agnostic Logging) 메커니즘을 갖추는 것이다. 볼드스타트 벤처스의 파트너인 엘렌 치사는 “쿠버네티스에서 보았던 것과 같은 에너지가 오픈텔레메트리(OpenTelemetry)에서도 나타나기 시작했다”라고 말한다. CNCF의 데이터에 따르면, 2023년 중반에 오픈텔레메트리는 CNCF에서 주관하는 프로젝트 중 두 번째로 빠르게 성장하는 프로젝트였다.

몇 가지 이유로 오픈텔레메트리의 중요성이 커지고 있다. 첫째, 기업은 이제 수많은 로그를 보유하고 있으며, 이 때문에 데이터 비용도 증가하고 있다. 치사는 “기술팀이 이사회와 CFO의 실질적인 예산 압박에 직면하면서 '어떻게 하면 로깅을 비즈니스에 더 유용하게 활용할 수 있을까'에 대한 질문이 더 많아졌다”고 설명했다.

둘째, 오픈텔레메트리는 더 많은 컨텍스트를 통해 프로덕션 환경을 강화할 수 있다. 치사는 “배포의 용이성(코드에서 클라우드로)을 원하는 것과 마찬가지로, 코드를 작성할 때 클라우드에서 일어나는 일에 대한 실제 정보(클라우드에서 코드로)를 원하게 될 것”이라고 덧붙였다.
 

플랫폼 추상화 및 자동화 향상

오늘날의 퍼블릭 및 프라이빗 클라우드는 IT 인프라를 사용하기가 그 어느 때보다 쉽다. 개발자는 셀프서비스 API와 사용자 친화적인 내부 플랫폼으로 더 많은 제어권을 갖게 됐다. 하지만, 플랫폼 엔지니어링은 여전히 상당한 수고를 필요로 하며 변화가 필요한 상태이다.

업계는 YAML의 잡초에서 벗어나 추상화를 향상시킬 필요가 있다. 라이트벤드의 CTO 요나스 보너는 “차세대 서버리스는 인프라가 전혀 보이지 않는 것”이라고 강조했다. 대신, 내부 개발자 플랫폼의 실제 운영이 운영팀이나 사이트 안정성 엔지니어링(SRE)팀으로부터 아웃소싱되는 미래를 예상한다. 보너는 “우리는 지금 개발자와 운영자가 손을 놓는 법을 배우는 과도기적 단계에 있다”고 덧붙였다.

브로드컴의 워터스는 “엔터프라이즈급 플랫폼을 구축하는 것은 여전히 노동 집약적이며, 시스템의 보안과 확장성을 보장하기 위해 상당한 노력이 필요하다”라며, “플랫폼팀은 개발자가 사전 보안 및 사전 최적화된 방식으로 더 쉽게 사용할 수 있도록 하기 때문에 인프라 혁신에서 중요한 역할을 할 것이다”이라고 말했다.

버셀(Vercel)의 CEO 길레모 라우치는 최신 프레임워크는 “인프라를 완전히 자동화할 수 있다”고 강조했다. 라우치는 프레임워크 정의 인프라가 늘어나고 글로벌 프론트엔드 공간에 대한 투자가 증가할 것으로 예상한다. 또 클라우드 인프라가 애플리케이션별로 프로비저닝(일반적으로 오버프로비저닝)되는 맞춤형 특수 인프라에서 벗어나 개발자 생산성과 비즈니스 민첩성 모두에 도움이 되는 방향으로 발전할 것이라고 말했다.

결국 어떤 형태가 되든 간소화된 내부 플랫폼은 클라우드 인프라가 나아가야 할 방향임이 분명하다. 코스모닉(Cosmonic)의 CEO 리암 랜달은 “오늘날 개발자가 더 이상 개별 서버, 데이터센터 또는 운영체제에 대해 생각하지 않는 것과 마찬가지로, 애플리케이션 기능 및 종속성에 대해 더 이상 걱정하지 않아도 되는 시대로 나아가고 있다"며, “퍼블릭 클라우드가 데이터센터를 유지 관리해 주기를 기대하는 것처럼, 개발자는 플랫폼에서도 공통 애플리케이션 종속성을 유지 관리해 주기를 원한다”고 강조했다.

랜달에 따르면 웹어셈블리가 소프트웨어 추상화의 다음 단계와 컨테이너화를 넘어서는 새로운 시대를 열 것이다. 랜달은 “웹어셈블리 컴포넌트 모델에 기반한 컴포넌트화된 애플리케이션은 서비스 메시, 쿠버네티스, 심지어 컨테이너 자체와 같은 컨테이너 생태계 개념과 호환되지만, 그것에 종속되지는 않다"라고 설명했다. 또 컴포넌트는 콜드 스타트 문제를 해결하고, 컨테이너보다 더 작고, 더 안전하며, 언어와 언어 프레임워크 경계를 넘어 “컴포저블 인프라” 구현이 가능하다고 설명했다.
 

쿠버네티스 클러스터에 가상화 도입하기

또 다른 발전 영역은 쿠버네티스 내부 가상화이다. 로프트 랩스(Loft Labs)의 CEO 루카스 젠텔은 “리눅스 서버의 하드웨어 가상화를 주도했던 것과 동일한 패러다임이 이제 쿠버네티스에 적용되고 있다"라고 말한다. 첫 번째 이유는 AI와 머신러닝 워크로드로 인해 계속 증가하는 클라우드 컴퓨팅 비용을 해결하기 위해서이다. 이런 시나리오에서는 “컴퓨팅 자원의 공유와 동적 할당이 그 어느 때보다 중요하다”는 것이 젠텔의 설명이다.

두 번째 이유는 클러스터 스프롤을 해결하기 위해서이다. 2022년 CNCF가 조사한 쿠버네티스 사용자의 절반이 10개 이상의 클러스터를 운영하고 있었다. 그러나 사용 중인 클러스터의 수는 다르다. 예를 들어 메르세데스 벤츠는 900개의 클러스터에서 실행된다. 젠텔은 “많은 조직이 쿠버네티스 아키텍처 내에서 멀티테넌시를 달성할 수 있는 안전하고 간단한 방법이 없기 때문에 결국 수백 개의 쿠버네티스 클러스터를 관리하게 된다”고 설명했다.

젠텔에 따르면, 가상 클러스터는 다양한 워크로드에 필요한 보안과 격리를 유지하면서 필요한 물리적 클러스터의 수를 줄일 수 있으므로 자원 오버헤드를 크게 낮추는 동시에 운영 부담을 완화할 수 있다.
 

AI 및 데이터 계층 오케스트레이션

AI의 부상과 함께 클라우드 기반 인프라는 새로운 사용례를 충족하기 위해 성장하고 발전할 것으로 예상된다. 가트너의 시드 나그는 “생성형 AI와 클라우드의 결합은 클라우드 인프라의 판도를 바꿀 다음 변곡점이 될 것”이라고 강조했다.

나그는 “인프라 기반에 GPU, TPU, DPU와 같은 특수 프로세서를 통합하는 것이 핵심이 될 것”이라며, 학습, 추론, 미세 조정과 같은 고유한 AI 요구 사항에 따라 다양한 클라우드 환경에서 이를 수행할 수 있는 기능도 해결해야 한다고 덧붙였다.

AI 워크로드의 오케스트레이션은 쿠버네티스가 탁월한 역량을 발휘할 수 있는 분야이다. 퓨어스토리지의 제품 마케팅 디렉터인 라지브 타카르는 “쿠버네티스는 생성형 AI 인프라를 위한 오케스트레이션에서 계속해서 주류 역할을 할 것”이라고 말한다. 타카르는 쿠버네티스를 데이터 과학팀이 GPU 컴퓨팅에 액세스할 수 있는 효율적인 방법으로 보고 있다. 하지만 이런 모델에 필요한 데이터의 양이 방대하기 때문에 퍼시스턴트 스토리지(Persistent Storage)에 대한 지속적인 액세스에 성패가 달려 있다고 덧붙였다.

물론 쿠버네티스에서 스테이트풀 배포를 관리하는 것은 수년 동안 해결해야 할 까다로운 문제였다. 하지만 이제 이 문제를 극복할 수 있을 만큼 기술이 충분히 성숙했다. 퍼코나(Percona)의 CTO 리즈 워너는 “드디어 쿠버네티스의 데이터가 주류가 될 때가 됐다”고 말한다. 

워너는 “여전히 '쿠버네티스는 일시적으로 사용하도록 설계됐으니 피해야 한다'는 인식이 있다. 하지만 오늘날의 운영자들은 쿠버네티스를 통해 MySQL, 포스트그레SQL 또는 몽고DB와 같은 오픈소스 데이터베이스를 안정적으로 실행할 수 있다"라고 설명했다. 또, 이렇게 하면 비용 절감, 더 나은 멀티클라우드 및 하이브리드 솔루션, 개발 환경의 시너지 효과를 얻을 수 있다고 덧붙였다.
 

온프레미스 및 엣지에서의 쿠버네티스

쿠버네티스와 클라우드 네이티브 기술은 클라우드에서 멀리 떨어진 곳에서 새로운 보금자리를 찾기 시작했다. 시스코의 토마스 그라프는 “쿠버네티스의 알려지지 않은 마법의 소스가 있다. 쿠버네티스는 매우 현대적으로 보이고 작동하지만, CPU처럼 40~50년 역호환성이 있다는 점이다"라고 말한다. 클라우드 네이티브 기술이 개발언어를 가리지 않기 때문에 레거시 코드를 처리할 수 있고, 이 때문에 쿠버네티스는 대규모 도입을 위한 최적의 대상이라는 것. 그라프는 “대부분 기업은 향후 10년 동안 표준화할 것이기 때문에 이 기술에 투자하고 있다”고 덧붙였다.

그라프는 “데이터센터의 컨테이너는 비교적인 새로운 개념이다. 이 분야는 앞으로 더 발전할 것”이라고 강조했다. 업계가 이 방향으로 나아간다면 클라우드와 기존 데이터센터 모두에 대해 중복된 노력을 피할 수 있는 현대적이고 보편적인 보안 메커니즘이 필요할 것이다. 그라프는 eBPF가 공통 네트워킹 계층과 플랫폼에 구애받지 않는 방화벽의 핵심 기반이 될 것으로 보고 있다. eBPF는 오픈소스 실리엄(Cilium) 프로젝트에 의해 더 쉽게 접근할 수 있게 된 리눅스 커널을 안전하고 동적으로 프로그래밍할 수 있는 방안이다.

같은 변화가 엣지에서도 새로운 인프라 패러다임을 주도하고 있다. 라이트벤드의 요나스 보너는 “지난 몇 년 동안의 많은 혁신은 모두 탈중앙화를 지향하고 있다"고 강조했다. 사용자가 있는 곳, 즉 엣지에서 사용자를 지원하기 위해 더 작은 아마존 관계형 데이터베이스 서비스 인스턴스와 더 강력한 인프라를 지향하는 추세에 주목한다.

보너는 “데이터를 끊임없이 클라우드로 전송했다가 다시 전송하는 것은 매우 낭비적인 일이다"라며, “데이터와 컴퓨팅이 최종 사용자와 물리적으로 함께 있는 플랫폼이 필요하다”고 지적했다. 보너는 이렇게 하면 높은 처리량, 짧은 지연 시간, 높은 복원력이라는 '삼위일체'를 제공할 수 있다고 말한다. 이런 로컬 우선 개발은 클라우드에 전적으로 의존하는 것이 아니라 데이터 이중화를 위해 클라우드를 사치품으로 취급한다. 그 결과 “클라우드와 엣지는 정말 하나가 되어가고 있다”는 것이 보너의 설명이다.

보너는 이런 분산형 하이브리드 아키텍처의 미래를 실현하려면 데이터 패브릭이 필요하다고 말한다. 동시에 데이터를 엣지 디바이스로 옮길 때 중요한 고려 사항인 격리된 환경으로 인해 웹어셈블리가 컨테이너를 대체하는 유용한 빌딩 블록이 된다. 어디서나 클라우드 네이티브 기능을 실행할 수 있는 K3나 쿠버엣지(KubeEdge)처럼 순정 쿠버네티스를 대체할 수 있는 경량화된 대안도 핵심이 될 것이다.
 

클라우드 인프라의 미래 실현

클라우드 네이티브 인프라의 주력인 쿠버네티스는 향후 몇 년 내에 더욱 많은 엔터프라이즈 환경에서 사용될 준비가 되어 있다. 퍼시스턴트 데이터, 클러스터 가상화, 플랫폼 엔지니어링, 로깅, 모니터링, 멀티클라우드 관리 도구 등 클라우드 네이티브 생태계가 제공할 수 있는 것의 한계를 계속 넓혀가고 있는 수많은 혁신도 마찬가지이다.

흥미로운 점은 로컬 컴퓨팅이 개선되고 데이터 인그레스 및 이그레스 비용이 증가함에 따라 로컬 우선 개발과 엣지 및 기존 데이터센터에 클라우드 네이티브 도구를 배포하는 방향으로의 전환이 뚜렷하게 나타나고 있다는 점이다. 시스코의 그라프는 “이는 클라우드 네이티브 세계에서는 거의 알려지지 않은 완전히 새로운 수준의 복잡성을 가져온다”고 지적했다.

생성형 AI도 마찬가지로 이 분야에 놀라운 기능을 제공해 점점 더 많은 클라우드 엔지니어링 사례를 자동화할 것이다. 제스티(Zesty)의 수석 엔지니어인 오메르 하머만은 “특히 쿠버네티스의 경우 시스템은 점진적으로 개선되겠지만 AI를 통해 큰 힘을 얻게 될 것이라고 생각한다”라며, “AI가 쿠버네티스와 컨테이너 기반 애플리케이션 배포의 자동화에서 비약적인 도약을 가져올 것”이라고 강조했다.

다른 기술 혁신은 소프트웨어 개발 전반에 걸쳐 우리가 당연하게 여기는 많은 것을 재창조할 준비가 되어 있다. 예를 들어 코스모닉의 랜달은 에지 솔루션 업체가 개발자 플랫폼에서 더 높은 수준의 추상화를 달성하기 위해 웹어셈블리를 사용하는 것에 주목한다. 랜달은 “와즘클라우드와 같은 웹어셈블리 네이티브 오케스트레이터는 다양한 물리적 아키텍처와 기존 쿠버네티스 기반 플랫폼에서 공통의 플러그인 기능을 자동 확장할 수 있다"라며, “웹어셈블리 컴포넌트를 사용하면 미래는 이미 여기에 와 있다. 단지 고르게 분산되어 있지 않을 뿐이다”라고 강조했다.

이는 클라우드 인프라 전반을 적절하게 요약한 말인 것 같다. 미래는 이미 여기에 있으며, 그 대부분은 진보적인 오픈소스 기술에 기반을 두고 있다. 이제 이 미래를 실현하기만 하면 된다.
editor@itworld.co.kr