Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.

클러스터

메르세데스 벤츠가 900개의 쿠버네티스 클러스터를 운영하는 이유

독일 자동차 회사 메르세데스 벤츠(Mercedes-Benz)의 기술팀은 지난 7년 동안 수백 개의 개별 개발팀을지원하기 위해 자체 개발한 쿠버네티스 클러스터 900개를 구축했다. 이로써 메르세데스 벤츠는 확장 가능하고 관리가 용이하다는 최신 인프라 플랫폼을 갖추게 됐다.   메르세데스 벤츠는 2014년 구글이 컨테이너 오케스트레이션 시스템인 쿠버네티스를 오픈소스화한 후 2015년부터 애플리케이션 배포 목적으로 쿠버네티스를 활용하기 시작했다. 이후 메르세데스 벤츠의 IT 전문 자회사인 메르세데스 벤츠 테크 이노베이션(Mercedes-Benz Tech Innovation)은 내부 전문 역량을 개발해 사업부와 연동되어 각자 고유한 기술 수요가 있는 수백 개의 애플리케이션팀을 지원하고 있다. 메르세데스 벤츠 테크 이노베이션 데브옵스 엔지니어 젠스 에랏은 최근 개최된 쿠버콘(KubeCon) 유럽 행사에서 “단일 공유 쿠버네티스 클러스터는 우리의 수요에 맞지 않고 우리의 요구사항에 맞는 업체 배포판도 없다는 사실을 알고 있었다. 대신 우리는 전문 기술을 갖춘 엔지니어가 있었다”라며, “동일한 데브옵스팀이 구축하고 개발한 100% 오픈소스 소프트웨어 플랫폼을 구축했고, 라이선스 문제도 기술 지원도 없었다”라고 밝혔다. 현재 메르세데스 벤츠는 네 곳의 글로벌 데이터센터에서 900개의 온프레미스 쿠버네티스를 운영 중이다. 2021년 말부터 버전 1.23을 실행 중인 오픈스택(OpenStack)을 사용한다.  이런 쿠버네티스 자산은 클라우드 서비스 업체와 비교하면 아주 큰 규모는 아니다. 하지만 클라우드 네이티브 컴퓨팅 재단(CNCF)의 2019년 조사에 따르면, 50개 이상의 클러스터를 사용하는 조직의 비율은 10%에 불과하다. 또한, 메르세데스 벤츠의 쿠버네티스 자산 규모는 쿠번콘 유럽에서 함께 기조 연설을 했고 이 기사 작성 시점 현재 210개의 클러스터를 운영 중인 CERN의 쿠버네티스 환경보다 거의 다섯 더 크다. 메르세데스 벤츠를 쿠버네티...

쿠버네티스 오케스트레이션 벤츠 2022.06.23

“워크로드에 최적화하라” AI/HPC를 위한 GPU 인프라 구축 실전 가이드 - IDG Summary

엔터프라이즈 컴퓨팅 환경에서 GPU 기반 서버의 기능과 역할이 빠르게 확대되고 있다. GPU를 활용한 워크로드 증가는 제조, 금융, 공공, 통신, 미디어, 쇼핑, 생명과학, 서비스 등 업종을 가리지 않는 트렌드로 자리 잡고 있다. GPU 기반 클러스터 구축과 운영은 전통적인 엔터프라이즈 컴퓨팅 방식과는 차이가 있다. 많은 조직이 인프라 구축과 확장 과정에서 시행착오를 겪는 이유다.  그렇다면 어떻게 하면 고가의 GPU 자원을 더 효율적이고 합리적으로 활용하는 가운데 수요 증가에 맞춰 탄력적으로 확장해 나아갈 수 있을까? 답은 바로 워크로드에 최적화된 서버, 네트워크, 스토리지 그리고 운영과 관리를 위한 플랫폼과 도구 환경을 갖추는 것이다. HPE의 경험과 솔루션을 통해 그 방법을 알아보자.  주요 내용 - 급증하는 GPU 가속 기반 워크로드 - 워크로드 특성을 고려한 접근이 필요 - 워크로드에 맞는 GPU 선택 가이드 - HPE의 GPU 가속 기반 HPC, AI 서버 및 소프트웨어 포트폴리오 - 워크로드 유형별 주요 사례

GPU 워크로드 HPC 2022.03.08

매니지드 쿠버네티스로 전환해야 하는 6가지 이유

쿠버네티스 클러스터를 매니지드 서비스 업체에 넘기는 것은 아이를 대학에 보내는 것과 비슷하다. 처음에는 걱정도 되지만, 결국 집안에서 할 일이 확 줄어든다.  빅 3 퍼블릭 클라우드 서비스 업체인 아마존 웹 서비스(AWS), 구글 클라우드, 마이크로소프트 애저의 매니지드 쿠버네티스 옵션(또는 서비스형 쿠버네티스, KaaS)은 모두 지난 몇 년 동안 큰 발전을 이루었다. 이제 기업은 복잡한 YAML 구성 파일, 자동 확장, 업데이트, 클러스터 관리에 대한 부담 없이 컨테이너화된 워크로드를 실행하고 조율할 수 있다.    개발자 중심의 시장 분석 업체 레드몽크(RedMonk)의 공동 창업자인 스티븐 오그레이디는 “기업은 전략적인 것을 고려할 때 처음에는 스스로 하려는 경향이 있다. 이후 시간이 지나면서 이 방식이 아무런 경쟁 우위를 제공하지 않으며, 서비스 업체에 맡기는 편이 낫다는 사실을 인식한다. 모든 기업이 서비스형으로 전환하고 있을까? 아직은 아니지만 전환을 향한 욕구와 방향은 명확해 보인다”고 말했다.  매니지드 쿠버네티스 서비스를 고려해야 할 6가지 이유를 알아보자.    1. 낮은 관리 부담  명백한 이유부터 시작해 보자. 여행 기술 업체 아마데우스의 기술 플랫폼 및 엔지니어링 부문 수석 부사장인 실베인 로이는 “할 일이 더 적다는 것은 명확하다. 알아서 운영된다는 것은 우리 회사에 중요하다. 쿠버네티스를 직접 운영하려면 필요한 모든 인력을 확보해야 한다는 어려움이 있다”고 지적했다.  건설업체 스트라백(Strabag)의 소규모 엔지니어 그룹은 2006년부터 자체적으로 컨테이너를 운영해오고 있으며 지난 4년 동안은 자체 관리 오픈소스 도커(Docker) 및 쿠버네티스로 전환 중이다. 현재 이 그룹은 기존 앱을 현대화하고 기반이 되는 쿠버네티스 클러스터 관리를 구글 클라우드에 맡기거나, 개발자가 클라우드나 하이브리드 환경에서 안토스(Anthos) 서비스를 사용해 새로운 애플...

쿠버네티스 매니지드서비스 클러스터 2021.04.21

마이크로소프트 오픈 서비스 메시의 이해

불과 몇 년 전에는 인프라에 대해 이야기한다면 곧 물리 인프라, 즉 서버와 메모리, 디스크, 네트워크 스위치, 그리고 이를 연결하기 위한 온갖 케이블 작업을 의미했다. 필자는 이런저런 숫자를 입력하면 수천, 수백만의 사용자를 지원할 수 있는 웹 애플리케이션을 구축하는 데 필요한 하드웨어의 사양이 출력되는 스프레드시트를 사용하곤 했다. 하지만 이제 바뀌었다. 먼저 이러한 물리 서버 랙 위에 위치하는 가상 인프라가 등장했다. 하이퍼바이저와 소프트웨어 정의 네트워크, 스토리지를 사용해서 애플리케이션의 컴퓨팅 요구사항을 지정하고 프로비저닝하면 물리 하드웨어 위의 가상 네트워크는 알아서 관리됐다. 지금은 하이퍼스케일 퍼블릭 클라우드에서 수직 확장과 수평 확장을 자동으로 관리해주는 오케스트레이션 프레임워크 위에 분산 애플리케이션을 구축한다.     서비스 메시를 사용하여 분산 애플리케이션 인프라 관리하기 새로운 애플리케이션 인프라에는 자동 확장에 대응하고 로드밸런싱과 서비스 검색을 처리하고 정책 기반 보안을 지원하기 위한 지능을 갖춘 자체 인프라 계층이 필요하다. 마이크로서비스 컨테이너 외부에 위치하는 애플리케이션 인프라는 서비스 메시로 구현되며, 각 컨테이너가 사이드카로 실행되는 프록시에 연결된다. 프록시가 컨테이너 간 통신을 관리하므로 개발팀은 호스팅하는 서비스와 API에 집중할 수 있고, 애플리케이션 운영팀은 이런 모든 요소를 연결하는 서비스 메시를 관리한다. 서비스 메시를 구현하는 누구나 직면하는 가장 큰 문제는 서비스 메시가 너무 많다는 것이다. 구글의 인기 있는 이스티오(Istio), 오픈소스 링커드(Linkerd), 해시코프(HashiCorp)의 컨설(Consul)을 비롯해 F5의 아스펜 메시(Aspen Mesh)와 같이 실험적인 툴까지 있다 보니, 하나를 선택하기는 어렵고 조직 전체에서 하나로 표준화하기는 더 어렵다. 현재 애저 쿠버네티스 서비스와 함께 서비스 메시를 사용하려면 AKS 문서의 지침을 참고해서 이스티오, 링커드 또...

쿠버네티스 서비스메시 OSM 2020.08.13

더 나은 쿠버네티스를 위한 11가지 도구

강력한 성능과 큰 규모를 가진 컴퓨팅 플랫폼이라 해도 그 자체로 모든 요구를 만족시키는 경우는 거의 없다. 쿠버네티스 역시 기본 상태 그대로도 유용하지만 결코 완벽하지는 않다. 데이터베이스 지원과 같이 기본 쿠버네티스 기능으로는 부족한 사용 사례나 요구사항도 있고, 지속적 배포(Continuous delivery, CD)와 같이 쿠버네티스에서 아예 신경쓰지 않는 부분도 있다.   그러나 추가 기능과 확장, 각종 보너스가 풍부한 쿠버네티스 커뮤니티가 부족한 부분을 메워준다. 이 가운데 가장 유용한 쿠버네티스용 도구 11가지를 선정했다. 모든 쿠버네티스 클러스터를 보완하는 툴도 있고, 기본 쿠버네티스에서 다루지 않는 특정 요구사항에 대처하는 툴도 있다. - 그래비티(Gravity): 이식 가능한 쿠버네티스 클러스터 쿠버네티스에 애플리케이션을 배포하는 과정을 안내하고 자동화하는 헬름(Helm) 차트가 있는 애플리케이션은 많다. 그러나 쿠버네티스 클러스터를 그대로 가져와서 다른 곳에 배포하려는 경우에는 어떨까? 그래비티는 쿠버네티스 클러스터, 컨테이너 레지스트리, 실행 중인 애플리케이션의 스냅샷(“애플리케이션 번들”이라고 함)을 찍는다. .tar 파일 하나인 이 번들은 쿠버네티스를 실행할 수 있는 어디에나 클러스터를 복제할 수 있다. 또한 그래비티는 대상 인프라가 원본과 동일한 동작 요구사항을 지원할 수 있는지, 그리고 대상의 쿠버네티스 런타임이 기준을 충족하는지도 확인한다. 그래비티 엔터프라이즈 버전은 역할 기반 액세스 제어(Role-Based Access Controls, RBAC), 여러 클러스터 배포 간에 보안 구성을 동기화하는 기능을 포함한 보안 기능을 추가로 제공한다. - 카니코(Kaniko): 쿠버네티스 클러스터에 컨테이너 빌드 대부분의 컨테이너 이미지는 컨테이너 스택 외부의 시스템에 빌드된다. 그러나 가끔은 컨테이너 스택 안에서, 예를 들어 실행 중인 컨테이너 안이나 쿠버네티스 클러스터의 어느 지점에서 빌드 프로세스를 진행하고자 하는...

클러스터 테레사 큐브코스트 2019.12.13

IDG 블로그 | 멀티클라우드 2.0 시대를 여는 쿠버네티스

슬슬 2.0이란 말에도 지치는 시절이다. 이 용어는 업계가 시장의 판도를 바꿀 수 있는 무언가를 지칭하는 용어로 사용하지만, 조금 더 혁신적이고 창의적일 필요가 있지 않을까? 멀티클라우드의 경우, 1.0 버전은 수많은 퍼블릭 클라우드 브랜드를 대부분 기업이 사용하면서 부상했다. 기업은 보통 전용 CMP(Cloud Management Platform)나 CSB(Cloud Service Broker)에 의존해 수많은 클라우드 네이티브 서비스를 관리한다.    오늘날 대부분 멀티클라우드 배치 환경을 관리하는 방식이다. CMP나 CSB가 없다면, 각각의 클라우드 네이티브 서비스를 각 클라우드 서비스 업체가 제공하는 클라우드 네이티브 콘솔 같은 것을 사용해 다루어야 한다. 이 경우 멀티클라우드 환경에 세 곳의 퍼블릭 클라우드를 사용한다면, 서로 다른 세 개의 관리 인터페이스와 기술이 있어야 한다. 이 방식은 너무 복잡해 장기적으로 운영 가능한 환경을 만들기 어렵다. 현재 떠오르는 멀티클라우드 2.0은 다른 방식의 멀티클라우드이다. 바로 연합된 쿠버네티스를 사용해 컨테이너화된 애플리케이션과 데이터를 관리하는 것으로, 워크로드는 서로 다른 퍼블릭 클라우드 서비스 업체에서 구동하지만 서로를 인지하고 있다. 이 아키텍처는 멀티클라우드 상에서 구동하는 다중 클러스터를 다루기 쉽다. 주요 구성 요소는 두 가지로, 하나는 여러 클러스터에 걸쳐서 자원을 동기화하는 역량이다. 예상하는 것처럼 멀티클라우드 쿠버네티스 배치의 핵심 과제이다. 쿠버네티스 내의 메커니즘은 자동으로 멀티클라우드 상에서 구동하는 여러 클러스터 배치를 동기화할 수 있다. 두번째는 클러스터 내의 디스커버리이다. 이는 자동으로 DNS 서버와 로드밸런서를 구성해 수많은 퍼블릭 클라우드에 걸쳐 구동하는 모든 클러스터를 지원하는 역량이다. 멀티클라우드와 쿠버네티스를 활용하는 이점에는 고가용성도 포함되는데, 액티브/액티브 클러스터를 여러 곳의 퍼블릭 클라우드에 걸쳐 복제할 수 있기 때문이다. 따라...

클러스터 멀티클라우드 쿠버네티스 2019.09.23

IDG 블로그 | 잘 알려지지 않은 컨테이너의 장점과 단점

성능부터 확장성, 이식성을 추구하는 기업의 전투 구호는 “우리는 컨테이너를 사용한다”이다. 물론 일부는 실제로 그렇게 되기도 하지만, 한계도 있다. 컨테이너가 실제로 기업에 가져다주는 가치와 그렇지 않은 것을 살펴보자.   컨테이너의 장점 여러 기술적 이점을 넘어서 컨테이너는 많은 기업이 잘 알지 못하는 이점을 제공한다. 컨테이너는 추상화를 통해 복잡성을 줄여준다. 컨테이너는 사용하는 주된 이유는 컨테이너는 애플리케이션의 클라우드 네티이브화 작업을 요구하지 않는다는 것이다. 컨테이너 자체는 플랫폼일 뿐이다. 이는 컨테이너가 복잡한 네이티브 인터페이스를 관리하지 않아도 되고, 그래서 특정 클라우드 플랫폼에 종속되지 않아서 다른 환경으로 이식할 수 있다는 것을 의미한다. 컨테이너는 자동화에 좋다. 자동화는 수작업 스크립트를 대체하며, 더 나은 이식성을 제공한다. 컨테이너는 더 나은 보안과 거버넌스를 제공한다. 보안과 거버넌스는 플랫폼에 특화된 것으로 밝혀졌고, 컨테이너 밖에서도 최고 수준을 유지한다. 전체적인 복잡성을 줄이면서도 보안과 거버넌스를 중앙집중화할 수 있다는 의미이다. 컨테이너는 분산 컴퓨팅에도 뛰어나다. 컨테이너를 사용하면, 애플리케이션을 컨테이너 및 컨테이너 클러스터, 도메인으로 나눌 수 있다. 인트라클라우드(Intracloud)와 인터클라우드(Intercloud)를 포함해 애플리케이션을 구동할 플랫폼을 선택할 수 있는데, 이는 비용과 성능을 최적화할 수 있다는 의미이다.  컨테이너는 정책 기반 최적화를 지원한다. 자동화 계층을 사용하면, 최적의 플랫폼을 골라 실행하는 것은 물론 자동으로 해당 플랫폼으로 이전할 수도 있다. 또한 환경 설정 변경도 자동으로 처리할 수 있다. 컨테이너 오케스트레이션은 생각보다 유용하다. 쿠버네티스는 컨테이너를 클러스터로 확장하고 관리할 수 있도록 해준다. 또한 생태계가 되어 툴과 기술을 제공해 컨테이너 개발과 배치도 더 쉬워진다.   컨테이너의 단점 그렇지...

클러스터 복잡성 컨테이너 2019.02.26

디지털 트랜스포메이션을 완성하는 하이브리드 멀티클라우드 전략 - IDG Summary

멀티클라우드가 빠르게 확산되면서 기업은 새로운 과제를 안게 됐다. 날로 복잡해지는 클라우드 환경을 일관성 있게 관리하고, 클라우드 간의 이동성과 연결성을 구현해야 하기 때문이다. 이런 과제의 중심에 있는 것은 멀티클라우드 확산의 일등 공신인 컨테이너와 쿠버네티스 클러스터이다. 디지털 트랜스포메이션에서 클라우드가 차지하는 비중을 짚어보고, 하이브리드 멀티클라우드 환경의 기술적인 과제와 쿠버네티스 멀티클러스터 관리 및 애플리케이션 현대화 전략을 제시한다. <주요 내용> - 클라우드 역량은 디지털 트랜스포메이션의 근간 - 멀티클라우드의 부상과 새로운 과제 - 멀티클라우드 성공의 관건 “쿠버네티스 클러스터를 잡아라” - 유즈케이스로 알아보는 쿠버네티스 멀티클러스터 관리 - 애플리케이션 현대화로 완성하는 하이브리드 클라우드

클러스터 하이브리드클라우드 현대화 2019.02.12

컨테이너 클러스터를 마스터하기 위한 4가지 유용한 쿠베르네티스 툴

컨테이너화된 워크로드를 위한 클러스터 관리자인 쿠베르네티스(Kubernetes)가 대세다. 까다로운 로드밸런싱과 작업 관리는 쿠베르네티스에 맡기고 사용자는 다른 부분에 집중할 수 있다. 그러나 거의 모든 오픈소스 프로젝트가 그렇듯이 쿠베르네티스 역시 아직 만들어가는 과정이다. 쿠베르네티스를 사용하다 보면 누구나 필연적으로 부족한 부분과 불편한 점을 발견하게 된다. 쿠베르네티스 클러스터 관리에 따르는 부담을 덜어주는 4가지 프로젝트를 소개한다. 큐브-어플라이어(Kube-applier) 쿠베르네티스 성공의 핵심은 구글이 아닌 다른 IT 브랜드들도 채택하고 있다는 것이다. 클라우드 스토리지 업체 박스(Box)는 내부 배치에 사용했던 쿠베르네티스용 코드 일부를 오픈소스화했는데, 큐브-어플라이어도 그러한 프로젝트 중 하나다. 큐브-어플라이어는 쿠베르네티스 서비스로 실행되며, 깃(Git) 리포지토리에 호스팅되는 쿠베르네티스 클러스터용 선언 구성 파일 집합을 받아 이를 클러스터의 팟(pod)에 지속적으로 적용한다. 정의 파일에 변경 사항이 발생할 때마다 자동으로 리포지토리에서 가져와 해당 팟에 적용한다. 변경 내용은 일정을 기반으로 적용할 수도, 필요에 따라 그때그때 적용할 수도 있다. 큐브-어플라이어는 실행될 때마다 작업을 로그로 기록하며 프로메테우스(Prometheus)와 호환되는 메트릭을 제공하므로 이 툴이 클러스터의 작동에 미치는 영향을 파악할 수 있다. 큐브톱(Kubetop) 가장 단순한 툴이 가장 유용할 때가 있다. 파이썬으로 작성된 큐브톱은 현재 실행 중인 모든 노드, 노드의 모든 팟, 그리고 팟의 모든 컨테이너를 목록화하고 각각의 CPU 및 메모리 사용량을 보여준다. 유닉스/리눅스의 top 명령과 비슷하다. 이 툴은 아주 간단한 정보만 생성하므로 본격적인 로깅 또는 보고 툴 대용으로 사용해서는 안 된다. 그러나 쿠베르네티스 클러스터에 대한 간결하고 일목요연한 보고 기능으로 충분한 경우라면 아주 유용하다. 명령줄을 사용하는 ...

클러스터 컨테이너 관리툴 2017.05.23

IDG 블로그 | 라즈베리 파이로 클러스터를 구축하는 가장 쉬운 방법 ‘클러스터 HAT’

필자는 최근 ‘뭉치면 세다’ 놀라운 라즈베리 파이 클러스터 10선 기사를 썼는데, 독자인 알렉스 호틴이 이 기사를 보고 최대 4대의 라즈베리 파이 제로를 묶을 수 있는 클러스터 프레임워크인 클러스터 HAT를 소개했다. 제조업체는 8086 컨설턴시이다. 클러스터 HAT에서 HAT는 라즈베리 파이 재단의 ‘Hardware Attached on Top’ 시스템을 구현한 디바이스라는 의미이다. 표준 발표 당시 재단의 설명은 다음과 같다. “한마디로 HAT는 사각형 보드((65x56mm)로, 4개의 탑재용 구멍이 각 모서리에 있어 B+의 탑재 구멍과 맞으며, 40W GPIO를 갖추고 자동화된 GPIO 설정 및 드라이버 설정을 지원하는 전용 자동 환경설정 시스템을 지원한다. 자동 환경설정은 I2C EEPROM용으로 예약된 40W GPIO 헤더의 두 전용 핀((ID_SD와 ID_SC)을 사용한다. EEPROM은 보드의 제작자 정보를 가지고 있으며, GPIO 설정과 ‘디바이스 트리’ 프래그먼트는 기본적으로 부착 하드웨어의 설명으로, 리눅스가 자동으로 필요한 드라이버를 로드할 수 있도록 한다.” 클러스터 HAT에 연결된 라즈베리 파이 제로는 리눅스 USB 프로젝트가 개발한 프레임워크인 USB 가젯 모드에서 동작한다. 2005년에 발표된 이 API는 USB로 연결된 디바이스가 프린터나 파일 시스템, 오디오 시스템, 그리고 가장 중요한 이더넷 연결을 포함하는 다양한 주변기기를 찾을 수 있도록 해 준다. 가젯 모드를 이용하면 클러스터 HAT에서는 라즈베리 파이가 제로를 프로그래밍하고 연결하는 컨트롤러 역할을 한다. 클러스터 HAT의 뛰어난 점은 케이블을 최소한으로 유지해 준다는 것이다. 클러스터 HAT에는 네 포트 USB 허브가 포함되어 있는데, 라즈베리 파이 제로를 여기에 바로 연결하고 전력도 호스트 라즈베리 파이의 GPIO 인터페이스를 통해 공급되고, 각각을 개...

클러스터 Hat 제로 2017.01.24

“뭉치면 세다” 놀라운 라즈베리 파이 클러스터 10선

단일 보드 컴퓨터들로 구성된 라즈베리 파이(Raspberry Pi) 제품군이 교육에 혁신을 가져왔고 사물 인터넷 혁명의 요인 중 하나가 되었다. 이런 보드는 가격이 저렴하고 기능이 뛰어나며 손쉽게 구할 수 있다. 그렇다면 여러 개의 라즈베리 파이 보드를 가져다가 연결하면 무엇을 얻을 수 있을까? 놀랍도록 저렴하고 성능이 뛰어난 병렬 컴퓨팅 시스템은 교육에 유용할 뿐 아니라 일부 실제 문제를 해결할 수도 있다. 소형 4 노드 시스템부터 250노드 시스템까지 10가지 라즈베리 파이 클러스터를 정리해 본다. 이런 클러스터는 교육용은 물론 거대한 IoT 네트워크 시뮬레이션과 첨단 제품까지 모든 것에 사용되고 있다.  editor@itworld.co.kr

프로젝트 클러스터 라즈베리파이 2017.01.16

클러스터, 차세대 고성능 컴퓨팅 세계로 가는 지름길 - IDG Summary

데이터양이 폭발적으로 늘고 이를 처리하는 워크로드가 점점 복잡해지고 있지만, 정작 그 작업을 담당해야 할 고성능 컴퓨팅(HPC)은 성능의 한계에 직면해있다. 특히 이제는 더 빠른 하드웨어 외에 사용하는 애플리케이션까지 고려해야 한다는 점에서 대안을 찾기가 더 어려워지고 있다. 이런 가운데 궁극의 해법의 하나로 클러스터 기술이 주목받고 있다. 성능과 호환성은 높이면서 최신 칩의 장점까지 누릴 수 있는 클러스터의 세계로 안내한다. 본 콘텐츠를 다운로드 받아 주시는 분들 중, 추첨을 통하여 [ 아이스 커피 기프티콘 ] 을 증정해 드립니다. <주요 내용> - HPC의 한계를 넘어라 - HPC의 새로운 돌파구, 클러스터 기술 - ‘성능·호환성’ 두 마리 토끼를 잡은 고성능 시스템

클러스터 HPC 고성능 컴퓨팅 2016.08.30

퀴베르네티스 기반 오픈소스 PaaS ‘켈’ 출범…데브옵스에 중점

컨테이너 기술을 기반으로 하는 데브옵스 중심의 오픈소스 PaaS인 켈(Kel)이 관심을 받고 있다. 켈은 컨테이너 클러스트 관리 시스템인 퀴베르네티스를 기반으로 하며, 원래는 파이썬과 장고 앱용 매니지드 호스트인 곤도르(Gondor)를 구동하기 위해 만들어졌다. 곤도르를 운영하는 엘다리온(Eldarion)은 켈이 앱 배치뿐만 아니라 워크플로우를 염두에 두고 구축된 PaaS를 원하는 개발자에게 매력적인 솔루션이 될 것으로 기대하고 있다. 엘다리온의 공동 설립자이자 CEO인 제임스 토버에 따르면, 켈 PaaS와 다른 PaaS의 가장 큰 차이점은 개발자가 특정 애플리케이션의 라이프사이클 전체에 걸쳐서 어떻게 일을 하느냐에 중점을 두고 있다는 것이다. 즉 개발, QA, 스테이징, 프로덕션 전 과정의 흐름에 중점을 두고 있다. 켈 PaaS는 한 프로젝트에 참여하는 사람들이 다양한 책임과 역량을 가지고 있고, 이를 구분해야만 하면서도 종종 상호 운영해야 한다고 가정한다. 토버는 개발자가 시연에서 실제 데이터를 사용하기 위해 프로덕션 데이터베이스를 인스턴스에 가져와 특정 기능을 시연하는 경우를 예로 들었다. 곤도르와 켈 간의 기능 차이는 없다. 토버는 상용 서비스인 곤도르의 장점은 엔터프라이즈급 서비스를 제공하는 것이라고 설명했다. 엘다리온의 최고 아키텍트인 브라이언 로즈너는 이런 목표를 달성하기 위해 2계층 구조를 사용하는 방법을 설명했다. 기반 계층인 0계층은 켈 전용 환경 설정 툴을 갖춘 퀴베르네티스 클러스터이다. 이 위에 1계층인 애플리케이션 라이프사이클 워크플로우 툴이 올라간다. 켈은 제어 시스템의 거의 대부분 버전을 사용할 수 있기 때문에 기트(Git) 대신 머큐리얼(Mercurial)을 구동한다고 해서 불리하지 않다. 켈이 퀴베르네티스를 사용하는 데는 여러 가지 이유가 있다. 우선은 퀴베르네티스의 기능과 기반이 엘다리온이 구현하고자 하는 것과 잘 맞는다. 켈 개발팀이 자체적인 클러스터 관리 기능을 만들어낼 필요가 없으며, 애플리...

클러스터 컨테이너 paas 2016.05.09

빅데이터 시대 분석 DB의 성능과 확장성 조건 - IDG Summary

페이스북이 데이터 분석에 칼럼 기반 MPP DB를 채택한 이유 기업의 비즈니스 데이터는 증가 속도는 물론, 새로운 대상이나 범위, 관점의 분석에 대한 요구가 높아지면서 기존 트랜잭션 중심의 DB가 한계를 드러내고 있다. 분석에 최적화된 DB, 의미있는 인사이트를 실시간에 가깝게 전달할 수 있는 분석 성능, 예측 불가능한 데이터 증가에 대응할 수 있는 확장성 등 IT의 과제가 가볍지 않다. 페이스북이 오픈소스를 포기하고 상용 데이터 분석 솔루션을 도입한 것은 이런 과제를 해결하는 것이 그만큼 어렵다는 것을 반증한다. 빅데이터 시대 기업의 데이터 자산을 100% 활용할 수 있는 분석 플랫폼의 조건에 대해 알아본다. 본 백서를 다운로드 받으시는 분들 중, 50 명에게 스타벅스 카페라떼 기프티콘을,  방문 신청 하시는 모든 분들께는 CGV 3D영화 상품권 2매를 드립니다.  주요 내용 칼럼 기반의 MPP 데이터 분석 플랫폼 버티카 “데이터 보호와 복구까지 효율적이고 안전하게” 합리적인 증설 시간과 비용 페이스북과 신한은행이 버티카를 사용하는 이유

데이터베이스 클러스터 DW 2016.01.29

구글 클라우드 데이터프록, “하둡 및 스파크 클러스터 생성 90초면 충분”

빅데이터로부터 인사이트를 얻는 것은 쉽지도 빠르지도 않은 일이다. 하지만 구글은 하둡과 스파크를 위한 새로운 매니지드 서비스로 이런 기존의 통념을 바꿔놓고자 한다. 구글이 공개 베타 방식으로 새로 출시한 클라우드 데이터프록(Cloud Dataproc)은 기업이 클러스터를 신속하게 생성하고 쉽게 관리하고 또 필요할 때 해제할 수 있도록 지원한다. 기업이 빠르게 진화하는 빅데이터 기술의 수용하는 데 애를 먹는 경우가 많다. 콘스텔레이션 리서치의 대표 애널리스트 호글러 뮬러는 “일반적인 기업에게는 빅데이터를 설치하고 운영하는 것이 쉽지 않은 일이다”라며, 두 가지 오픈소스 제품을 결합할 때는 “일이 한층 더 복잡해진다”라고 지적했다. 또 하둡과 스파크 클러스터를 쉽게 구현하고 운영할 수 있다면, 기업에게는 상당한 가치를 가져다 줄 것이며, 구글의 클라우드 데이터프록은 궁극적으로 더 많은 부하와 활용, 고객으로 더 나은 규모의 경제 효과를 얻을 수 있다고 평가했다. 구글은 클라우드 데이터프록이 전통적인 자체 구축 방식 제품과 경쟁 클라우드 서비스와 비교해 수많은 이점을 제공한다고 주장한다. 우선 시간이다. 스파크나 하둡 클러스터를 자체 인프라나 IaaS를 통해 생성하는 데는 최소 5~30분의 시간이 걸린다. 하지만 클라우드 데이터프록은 90초면 클러스터를 생성할 수 있으며, 규모 확대나 해제 역시 같은 시간에 처리할 수 있다는 것이 구글의 설명이다. 가격은 클러스터 내의 가상 CPU 한 시간당 1센트이며, 비용이 더 저렴한 선점형 인스턴스를 포함해 전체 비용을 더 절감할 수 있다. 또 많은 클라우드 서비스 업체가 거의 1시간 단위의 과금을 하지만, 클라우드 데이터프록은 분 단위, 그리고 최소 10분 기준으로 과금을 한다. 빅쿼리나 클라우드 스토리지, 클라우드 빅테이블, 클라우드 로깅, 클라우드 모니터링 등의 다른 구글 클라우드 플랫폼 서비스와의 통합 기능이 내장되어 있다는 것도 장점이다. ...

클러스터 스파크 하둡 2015.09.24

테스트 안 했다고? 그럼 배치하지 마라

IT 부문에서 새로운 인프라를 구축하고 이를 생성 시스템에 적용하는 것만큼 보람찬 일도 없겠지만, 그만큼 쉽지 않은 것도 사실이다.    요즘에는 가상화(Virtualization) 덕분에 예전보다 많이 용이해지긴 했지만 자신의 노력을 통해 탄탄하고 신뢰할 수 있는 하나의 자원이 만들어지는 모습을 볼 수 있는 것은 여전히 흥미로운 일이다. 세상이 완벽하고 모든 것이 완벽하게 모든 측면에서 계획한 대로 필요에 따라 정확하게 실행된다면 최종 결과물은 언제든지 즉시 업무에 적용할 수 있을 것이다.   하지만 실제로는 이렇게 말처럼 쉽지 않다는 것을 모두가 알고 있다.   이번 기사에서는 새로운 가상화 클러스터(Cluster)를 하나의 예로 들겠지만, 이는 네트워크 계층부터 애플리케이션 계층까지 거의 모든 IT에 적용된다.    구축하는데 기본적인 사항은 다소 정형화되어 있다. 자신이 선택한 서버, 스위치(Switch), 스토리지(Storage) 하드웨어를 한 곳에 모으고 모든 것을 연결하는 것이다.    구축을 진행하면서 예상하지 못한 드라이브 호환성 문제 또는 소프트웨어 스택(Stack)의 버그 등 불시의 문제가 발생하지 않고 본래의 디자인이 그대로 실현되기를 바랄 뿐이다. 심지어 모든 과정이 계획에 따라 진행되고 모든 것이 준비가 완료된 듯 보여도 아직 갈 길이 멀다. 이제 걸음마를 뗀 것이다.   왜냐하면 이제는 구축된 시스템에 대한 100% 확신이 들 때까지 사소한 문제들을 모두 해결해야 하기 때문이다. 그리고 절대로 100%를 확신할 수 없다.   긴 터널의 끝에 빛이 보인다면 걸음이 빨라지는 것이 인간의 본성이며, 여행이 끝나가거나 목표가 가까워질 때면 인간은 서두르게 마련이다. 처음에는 체계적이고 공을 들이지만, 끝이 다가오면 무해한 것으로 생각되거나 사소한 것들은 ...

가상화 테스트 클러스터 2013.03.22

KAIST 웹 사이언스 랩 구축 프로젝트 - IDG Case Study

웹의 공학적, 과학적, 사회적 측면 간의 상호작용 연구 등 다양한 학제간 연구를 수행하는 KAIST 웹 사이언스 공학전공은 웹을 연구대상으로 하는 만큼 방대한 컴퓨팅 용량을 필요로 한다. 웹 사이언스 랩 구축 프로젝트는 델의 클러스터 시스템과 GPU 컴퓨팅 시스템을 이용해 다양한 연구를 수용할 수 있는 HPC 환경을 합리적인 비용으로 가격에 구현했다.   주요 내용 - 다양한 연구의 요구 조건 만족하는 고성능 컴퓨팅 환경 구현 - 시스템과 서비스, 가격대 성능, 연구 발전에 따른 확장성도 확보 - GPU 컴퓨팅 시스템으로 그래픽 분야 연구 및 연산 가속화

GPU KAIST 클러스터 2011.12.07

IDG 설문조사

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.