2011.06.30

클라우데라, 모니터링과 설정 관리 추가한 하둡 플랫폼 발표

Joab Jackson | IDG News Service
클라우데라가 자사 데이터 처리 프레임워크의 상용 배포판인 클라우데라 엔터프라이즈(Cloudera Enterprise)에 설정 및 관리 툴을 추가한 새로운 버전을 발표했다.

클라우데라의 제품 담당 부사장 찰스 제드레우스키는 “더 많은 하둡 사용례가 정식 사용 환경으로 이전하면서 사람들은 최종 사용자에게 제공되는 SLA와 서비스 품질에 신경을 쓰기 시작하고 있다”고 설명했다.

클라우데라 엔터프라이즈 3.5는 관리 스위트에 2가지 모듈이 추가됐다. 하나는 액티비티 모니터(Activity Monitor)로, 하둡 시스템 내에서 구동되는 모든 워크로드의 성능을 실시간으로 볼 수 있다.



일반적으로 성능 모니터링은 표준 관계형 데이터베이스에 있는 것으로, 하둡용 툴은 부족한 것이 현실이다. 이 모듈은 맵리듀스 작업이나 하이브(Hive) 쿼리, 피그 스크립트, 우지 워크플로우 등의 다양한 하둡 컴포넌트의 상태를 보여준다. 주기적인 통계는 물론 CPU, 메모리, 네트워크 사용량 등 총 45가지 측정 기준을 표시해 준다.

클라우데라는 서비스 및 환경설정 관리자 모듈도 도입했는데, 하둡 스택을 관리할 수 있는 단일 수단을 제공하는 것이 특징이다. 이 모듈은 다양한 프로그램의 업데이트 프로세스를 자동화해 필요한 업데이트가 실제로 수행되도록 해 준다.



전형적인 하둡 배치 과정은 약 95가지 프로그램이 조합되어 30대의 서버에 걸쳐서 실행되며, 각각의 프로그램마다 환경 설정 파일이 필요하다. 따라서 관리 상의 변경은 이들 프로그램 중 다수를 재기동하거나 여러 환경설정 파일의 수정을 필요로 하게 된다. 제드레우스키는 새로운 모듈을 이용하면 잘못된 환경설정으로 인한 다운타임을 대폭 줄일 수 있다고 설명했다.

한편 대부분의 하둡 툴은 오픈소스이지만, 클라우데라의 관리 모듈은 클라우데라의 유료 하둡 에디션에서만 사용할 수 있다. 클라우데라 엔터프라이즈는 소프트웨어와 관련 기술 지원 서비스를 구독 기반으로 제공하고 있다. 하지만 클라우데라는 서비스 및 환경설정 모듈의 무료 버전도 제공하고 있다.

야후나 페이스북, 이베이 등의 대형 서비스 업체는 하둡을 사용자 행동 분석 등에 사용하고 있다. 제드레우스키는 “사람들은 무엇이 어떻게 돌아가고 있는지 가시성을 얻고자 한다. 이번 버전은 이런 전체적인 라이프사이클 관리 기능을 하둡 시스템에 적용할 수 있는 최초의 솔루션”이라고 덧붙였다.  editor@itworld.co.kr


2011.06.30

클라우데라, 모니터링과 설정 관리 추가한 하둡 플랫폼 발표

Joab Jackson | IDG News Service
클라우데라가 자사 데이터 처리 프레임워크의 상용 배포판인 클라우데라 엔터프라이즈(Cloudera Enterprise)에 설정 및 관리 툴을 추가한 새로운 버전을 발표했다.

클라우데라의 제품 담당 부사장 찰스 제드레우스키는 “더 많은 하둡 사용례가 정식 사용 환경으로 이전하면서 사람들은 최종 사용자에게 제공되는 SLA와 서비스 품질에 신경을 쓰기 시작하고 있다”고 설명했다.

클라우데라 엔터프라이즈 3.5는 관리 스위트에 2가지 모듈이 추가됐다. 하나는 액티비티 모니터(Activity Monitor)로, 하둡 시스템 내에서 구동되는 모든 워크로드의 성능을 실시간으로 볼 수 있다.



일반적으로 성능 모니터링은 표준 관계형 데이터베이스에 있는 것으로, 하둡용 툴은 부족한 것이 현실이다. 이 모듈은 맵리듀스 작업이나 하이브(Hive) 쿼리, 피그 스크립트, 우지 워크플로우 등의 다양한 하둡 컴포넌트의 상태를 보여준다. 주기적인 통계는 물론 CPU, 메모리, 네트워크 사용량 등 총 45가지 측정 기준을 표시해 준다.

클라우데라는 서비스 및 환경설정 관리자 모듈도 도입했는데, 하둡 스택을 관리할 수 있는 단일 수단을 제공하는 것이 특징이다. 이 모듈은 다양한 프로그램의 업데이트 프로세스를 자동화해 필요한 업데이트가 실제로 수행되도록 해 준다.



전형적인 하둡 배치 과정은 약 95가지 프로그램이 조합되어 30대의 서버에 걸쳐서 실행되며, 각각의 프로그램마다 환경 설정 파일이 필요하다. 따라서 관리 상의 변경은 이들 프로그램 중 다수를 재기동하거나 여러 환경설정 파일의 수정을 필요로 하게 된다. 제드레우스키는 새로운 모듈을 이용하면 잘못된 환경설정으로 인한 다운타임을 대폭 줄일 수 있다고 설명했다.

한편 대부분의 하둡 툴은 오픈소스이지만, 클라우데라의 관리 모듈은 클라우데라의 유료 하둡 에디션에서만 사용할 수 있다. 클라우데라 엔터프라이즈는 소프트웨어와 관련 기술 지원 서비스를 구독 기반으로 제공하고 있다. 하지만 클라우데라는 서비스 및 환경설정 모듈의 무료 버전도 제공하고 있다.

야후나 페이스북, 이베이 등의 대형 서비스 업체는 하둡을 사용자 행동 분석 등에 사용하고 있다. 제드레우스키는 “사람들은 무엇이 어떻게 돌아가고 있는지 가시성을 얻고자 한다. 이번 버전은 이런 전체적인 라이프사이클 관리 기능을 하둡 시스템에 적용할 수 있는 최초의 솔루션”이라고 덧붙였다.  editor@itworld.co.kr


X