2012.06.14

페이스북, 하둡의 치명적 급소에 태클

Joab Jackson | IDG News Service
세계적으로 가장 큰 하둡 기반의 데이터 수집을 운영하는 페이스북 한 엔지니어는 모든 운영 조정을 단지 하나의 서버에 의존한다는 하둡 데이터 분석 플랫폼의 핵심 약점을 커버하기 위한 방법을 개발했다. 
 
앤드류 라이언 페이스북 엔지니어는 이번주 미국 캘리포니아 산호세에서 개최된 하둡 서밋에서 이 문제를 토의했으며, 또한 그의 페이스북에 정리해 게재했다. 페이스북은 HDFS(Hadoop Distributed File System) 위에서 전세계에서 가장 큰 데이터 수집을 하고 있다고 믿고 있다. 이 업체는 100PB 이상의, 100개 이상의 이기종 클러스터를 통해 자사의 데이터센터를 확장했다. 
 
대규모 데이터 분석을 위해 인기가 날로 늘어나는 하둡은 엔지니어링 팀에게는 잘 알려진 치명적인 약점 하나가 있다. 
 
하둡 배포는 수백 또는 수천 대의 서버가 서로 맞물려 있을 지 모르지만, 전체 운영은 네임노드라 불리는 하나의 서버에 의존한다. 데이터 노드 사이에 모든 트래픽을 조정하는 이 하나의 네임노드가 운영을 중지하면 데이터 노드는 더 이상 전달되지 못하며, 사실상 전체 시스템은 기능이 중단된다. 
 
페이스북은 이 약점을 해결하는 것은 자체 DW 다운 타임의 절반 가량을 없앨 것이라고 예상했다. 이 문제를 풀기 위해 페이스북은 아바타노드라 불리는 소프트웨어를 만들었다. 이 소프트웨어는 몇 가지 이유로 기본 네임노드 서버가 고장났을 때 백업 네임노드로 바꿀 수 있다. 
 
기본 구성은 각 데이터 노드가 일상적으로 기본 네임노드와 백업 양쪽에 업데이트를 보낸다. 기본 네임노드 서버 기능이 중지되면 백업 네임노드는 운영을 인계받는다. 제임스 카멜론의 영화 아바타에서 이름을 차용해 온 이 소프트웨어는 배치 관리 툴인 하둡 주키퍼를 필요로 한다.  
 
페이스북은 공개형 소스인 이 아바타노드를 사용함으로써 하둡 관리자에게는 커다란 이익이 될 것이라고 제안했다. 페이스북은 2010년에 이 소프트웨어를 발표해, 회사 생산 업무에 넣은 바 있다. 
 
라이언은 "아바타노드는 페이스북 투데이의 내부에서 우리에게 가장 부담이 많은 생산 워크로드를 운영하고 있다"며, "이는 신뢰성과 HDFS 클러스터의 관리에 대한 상당한 향상을 이끌어 줄 것"이라고 전했다. 라이언은 "우리는 아바타노드의 향상을 위해 일할 것이며, 앞으로 모니터링이 없이, 자동적으로 안전한 장애 극복을 할 수 있게끔 일반적인 고가용성 프레임워크와 통합할 것"이라고 밝혔다. 
 
하둡의 이 문제에 태클을 걸고 있는 업체는 페이스북만은 아니다. 맵알과 클라우데라 또한 하둡의 네임노드 역량에 대해 말하고 있다. editor@itworld.co.kr


2012.06.14

페이스북, 하둡의 치명적 급소에 태클

Joab Jackson | IDG News Service
세계적으로 가장 큰 하둡 기반의 데이터 수집을 운영하는 페이스북 한 엔지니어는 모든 운영 조정을 단지 하나의 서버에 의존한다는 하둡 데이터 분석 플랫폼의 핵심 약점을 커버하기 위한 방법을 개발했다. 
 
앤드류 라이언 페이스북 엔지니어는 이번주 미국 캘리포니아 산호세에서 개최된 하둡 서밋에서 이 문제를 토의했으며, 또한 그의 페이스북에 정리해 게재했다. 페이스북은 HDFS(Hadoop Distributed File System) 위에서 전세계에서 가장 큰 데이터 수집을 하고 있다고 믿고 있다. 이 업체는 100PB 이상의, 100개 이상의 이기종 클러스터를 통해 자사의 데이터센터를 확장했다. 
 
대규모 데이터 분석을 위해 인기가 날로 늘어나는 하둡은 엔지니어링 팀에게는 잘 알려진 치명적인 약점 하나가 있다. 
 
하둡 배포는 수백 또는 수천 대의 서버가 서로 맞물려 있을 지 모르지만, 전체 운영은 네임노드라 불리는 하나의 서버에 의존한다. 데이터 노드 사이에 모든 트래픽을 조정하는 이 하나의 네임노드가 운영을 중지하면 데이터 노드는 더 이상 전달되지 못하며, 사실상 전체 시스템은 기능이 중단된다. 
 
페이스북은 이 약점을 해결하는 것은 자체 DW 다운 타임의 절반 가량을 없앨 것이라고 예상했다. 이 문제를 풀기 위해 페이스북은 아바타노드라 불리는 소프트웨어를 만들었다. 이 소프트웨어는 몇 가지 이유로 기본 네임노드 서버가 고장났을 때 백업 네임노드로 바꿀 수 있다. 
 
기본 구성은 각 데이터 노드가 일상적으로 기본 네임노드와 백업 양쪽에 업데이트를 보낸다. 기본 네임노드 서버 기능이 중지되면 백업 네임노드는 운영을 인계받는다. 제임스 카멜론의 영화 아바타에서 이름을 차용해 온 이 소프트웨어는 배치 관리 툴인 하둡 주키퍼를 필요로 한다.  
 
페이스북은 공개형 소스인 이 아바타노드를 사용함으로써 하둡 관리자에게는 커다란 이익이 될 것이라고 제안했다. 페이스북은 2010년에 이 소프트웨어를 발표해, 회사 생산 업무에 넣은 바 있다. 
 
라이언은 "아바타노드는 페이스북 투데이의 내부에서 우리에게 가장 부담이 많은 생산 워크로드를 운영하고 있다"며, "이는 신뢰성과 HDFS 클러스터의 관리에 대한 상당한 향상을 이끌어 줄 것"이라고 전했다. 라이언은 "우리는 아바타노드의 향상을 위해 일할 것이며, 앞으로 모니터링이 없이, 자동적으로 안전한 장애 극복을 할 수 있게끔 일반적인 고가용성 프레임워크와 통합할 것"이라고 밝혔다. 
 
하둡의 이 문제에 태클을 걸고 있는 업체는 페이스북만은 아니다. 맵알과 클라우데라 또한 하둡의 네임노드 역량에 대해 말하고 있다. editor@itworld.co.kr


X