데이터센터 / 클라우드

야후 "궁극의 프라이빗 클라우드" 들여다 보기

Julie Bort | Network World 2011.07.21
초당 150만 건의 요청을 처리하는 웹 사이트에 필요한 인프라를 상상해 보자. 이것은 야후의 클라우드 아키텍처 사업부 부사장 토드 파파이오아누가 직면한 문제 중 하나였다.
 
파파이오아누는 지난 달 개최된 클라우드 리더십 포럼의 기조 연설에서 "내가 직면하고 있는 최대의 난관은 무엇일까? 구글은 아니다"라며, "내가 직면하고 있는 최대의 문제점은 탄력성이다. 가상머신의 기동 시간. 가상화는 아직 시작되지도 않았다"고 말했다.
 
실제로 일본의 지진과 쓰나미, 오사마 빈 라덴의 죽음 등 대형 뉴스가 터져나올 때 야후가 급증하는 트래픽을 처리하는데 걸리는 시간은 10~20분으로 너무 길었다.
 
이것이 야후가 자체적으로 궁극의 프라이빗 클라우드를 구축한 이유다. 그리고 사람들은 프라이빗 사설 클라우드가 단순한 가상화된 서버의 집합이 아니라 큰 숨을 들이쉬고 내쉬는 것처럼 한 순간에 확장했다가 축소될 수 있는 인프라이기를 바란다.
 
그리고 퍼블릭 클라우드로 보완한다고 해서 달성할 수 있는 것도 아니다. 파파이오아누의 예상에 따르면, 아마존의 일래스틱 블록 스토어(Elastic Block Store) 스토리지에 의존하는 가상머신 인스턴스를 시작하는데 20~40분이 소요된다.
 
실제로 야후는 미국 내에서만큼은 아마존 때문에 빛을 발하지 못하고 있다. 하지만 파파이오아누는 대만 등의 다른 국가에서는 야후가 가장 인기 있는 인터넷 서비스라고 지적한다. 이는 야후가 보유하고 있는 40만 대의 서버에 대한 페이지 요청이 밤낮으로 끊이지 않는다는 뜻이다. (파파이오아누는 이 수치를 클라우드를 서비스를 판매하고 있는 랙스페이스의 7만 대 서버와 비교했다.) 
 
야후는 6억 8,000만 명 이상의 등록 사용자와 상점에 200페타바이트(Petabyte) 이상의 데이터를 제공하고 있으며, 이는 4만 2,000대의 하둡 서버와 맞먹는 양이다. 이로 인해 하루 1,000억 개의 이벤트가 수집되고 처리되며, 초당 115억 개의 요청이 발생하고 월간 최대 110억 개의 페이지가 서비스되고 있다.
 
야후는 스스로를 소비자들을 위한 퍼스널 클라우드(Personal Cloud)로 여기고 있다. 야후는 사진, 이메일, 기타 미디어 데이터를 보관하면서 사용자들에게 뉴스, 게임, TV 같은 온라인 서비스를 제공하는 인터넷 서비스라고 할 수 있다. 그 비밀은 아마도 야후의 WOO(Web of Objects)에 있을 것이다.
 
WWO는 맞춤화 엔진(Customization Engine)으로 사용자들이 야후의 서비스를 이용할 때 관련성있는 콘텐츠를 제공한다. 야후는 WOO를 "웹 개체들의 시맨틱 맵“이라고 설명한다. 야후의 방문자가 늘어날수록 WOO는 개인화된 관련성 있는 콘텐츠에 더욱 집중할 수 있다. 예를 들어 한 사용자가 밴드를 검색한다면 WOO는 뉴스 기사, 영상, 가사 등 해당 밴드와 관련된 심도 있는 콘텐츠를 사용자의 온라인 행동(Online Behavior)에 따라 제공한다.
 
이런 대형 데이터를 수집하고 분석하면서 트래픽이 증가할 때도 이를 유지하기 위해서는 매우 탄력적인 클라우드와 거대한 엔진을 구축해야 한다.
 
파파이오아누에게 이것은 프라이빗 클라우드가 단순히 화려한 마케팅 수단이 아님을 뜻한다. 트래픽이 급증할 때 "현재는 강제로 부하를 감소시킬 수 밖에 없다"고 말한다. 이는 프라이빗 클라우드를 잠시 중지시키거나 서버에서 우선선위가 낮은 작업부하를 줄여 급증한 트래픽을 처리한다는 의미이다. 예를 들어, 낮은 우선순위의 작업부하에는 배치 작업을 처리하는 서버도 포함된다.


 
야후 프라이빗 클라우드의 최하위에는 파파이오아누가 IaaS(Infrastructure as a Service)로 여기는 2개의 층이 있다. IaaS는 멀티테넌트 베어메탈 하드웨어를 제공하는 퍼블릭 클라우드 업체에 친숙한 용어이다. 야후의 경우 자사의 데이터센터를 독점적으로 이용한다. 대신에 "클라우드 패브릭(Cloud Fabrics)"이라 불리는 맞춤 개발된 추상화 계층(Abstract Layer)을 갖고 있다. 이것은 전체 컴퓨트/데이터센서 리소스를 하나의 풀로 인식하고, 리소스의 물리적 위치에 상관없이 애플리케이션 작업을 할당하게 된다.
 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.