Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
빅 데이터 / 애플리케이션

페이스북, 하둡의 치명적 급소에 태클

Joab Jackson | IDG News Service 2012.06.14
세계적으로 가장 큰 하둡 기반의 데이터 수집을 운영하는 페이스북 한 엔지니어는 모든 운영 조정을 단지 하나의 서버에 의존한다는 하둡 데이터 분석 플랫폼의 핵심 약점을 커버하기 위한 방법을 개발했다. 
 
앤드류 라이언 페이스북 엔지니어는 이번주 미국 캘리포니아 산호세에서 개최된 하둡 서밋에서 이 문제를 토의했으며, 또한 그의 페이스북에 정리해 게재했다. 페이스북은 HDFS(Hadoop Distributed File System) 위에서 전세계에서 가장 큰 데이터 수집을 하고 있다고 믿고 있다. 이 업체는 100PB 이상의, 100개 이상의 이기종 클러스터를 통해 자사의 데이터센터를 확장했다. 
 
대규모 데이터 분석을 위해 인기가 날로 늘어나는 하둡은 엔지니어링 팀에게는 잘 알려진 치명적인 약점 하나가 있다. 
 
하둡 배포는 수백 또는 수천 대의 서버가 서로 맞물려 있을 지 모르지만, 전체 운영은 네임노드라 불리는 하나의 서버에 의존한다. 데이터 노드 사이에 모든 트래픽을 조정하는 이 하나의 네임노드가 운영을 중지하면 데이터 노드는 더 이상 전달되지 못하며, 사실상 전체 시스템은 기능이 중단된다. 
 
페이스북은 이 약점을 해결하는 것은 자체 DW 다운 타임의 절반 가량을 없앨 것이라고 예상했다. 이 문제를 풀기 위해 페이스북은 아바타노드라 불리는 소프트웨어를 만들었다. 이 소프트웨어는 몇 가지 이유로 기본 네임노드 서버가 고장났을 때 백업 네임노드로 바꿀 수 있다. 
 
기본 구성은 각 데이터 노드가 일상적으로 기본 네임노드와 백업 양쪽에 업데이트를 보낸다. 기본 네임노드 서버 기능이 중지되면 백업 네임노드는 운영을 인계받는다. 제임스 카멜론의 영화 아바타에서 이름을 차용해 온 이 소프트웨어는 배치 관리 툴인 하둡 주키퍼를 필요로 한다.  
 
페이스북은 공개형 소스인 이 아바타노드를 사용함으로써 하둡 관리자에게는 커다란 이익이 될 것이라고 제안했다. 페이스북은 2010년에 이 소프트웨어를 발표해, 회사 생산 업무에 넣은 바 있다. 
 
라이언은 "아바타노드는 페이스북 투데이의 내부에서 우리에게 가장 부담이 많은 생산 워크로드를 운영하고 있다"며, "이는 신뢰성과 HDFS 클러스터의 관리에 대한 상당한 향상을 이끌어 줄 것"이라고 전했다. 라이언은 "우리는 아바타노드의 향상을 위해 일할 것이며, 앞으로 모니터링이 없이, 자동적으로 안전한 장애 극복을 할 수 있게끔 일반적인 고가용성 프레임워크와 통합할 것"이라고 밝혔다. 
 
하둡의 이 문제에 태클을 걸고 있는 업체는 페이스북만은 아니다. 맵알과 클라우데라 또한 하둡의 네임노드 역량에 대해 말하고 있다. editor@itworld.co.kr
 Tags 페이스북 하둡 아바타노드

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.