데이터센터 / 애플리케이션 / 클라우드 오피스

빅 데이터를 위한 가장 좋은 저장 서비스는?

Frank J. Ohlhorst | CIO 2012.04.30
데이터 스토리지의 파이버 채널 스위치
결국 문제는 네트워크의 성능 및 데이터 스토리지의 파이버 채널 스위치(fabric)다. 빅 데이터를 자주 분석하는 업체들의 경우, 클러스터 내부의 컴퓨트 노드의 수가 증가할수록 커뮤니케이션 오버헤드(communication overhead) 역시 증가하기 때문에 독립적인 인프라 구조가 필요하다. 
 
보통, HDFS를 사용하는 다중 모드 컴퓨트 클러스터는 빅 데이터를 처리하는 과정에서 네트워크 백본(network backbone)에 많은 양의 트래픽을 초래하게 된다. 이는 하둡이 클러스터 내부의 서버에 데이터와 컴퓨트 리소스를 퍼뜨리기 때문이다.
 
대부분의 경우, 서버 기반의 로컬 스토리지는 효율성 면에서 좋지 못한 선택이다. 그렇기에 많은 기업들이 고속 파이버 채널 스위치를 사용해 최대한의 효율을 창출해 내는 SANS로 고개를 돌리고 있다. 그러나, SAN 방식은 빅 데이터를 실행하는데 적합하지 않을 수 있다. 특히 하둡을 이용하는 경우 더욱 그렇다. SAN은 SAN을 구성하는 중심 축에 데이터를 집중화시키는 역할을 하며, 이는 각각의 컴퓨트 서버가 같은 SAN에 접근해 원래는 배포돼야 했을 데이터를 다시 가져와야 함을 의미하기도 한다.
 
그럼에도 불구하고, 로컬 서버 스토리지와 SAN기반 스토리지를 비교해 보면, 로컬 서버 스토리지는 두 가지 측면에서 중요한 장점을 가지고 있다고 할 수 있다. 가격 및 전체적인 성과다. 간단히 말해, RAID 없는 로우 디스크(raw disk)가 각각 컴퓨트에 설치될 경우 HDFS 하에 요청을 처리한다는 전제 하에 봤을 때 SAN보다 뛰어난 성과를 보일 것이다. 
 
그러나 서버 기반 디스크에도 단점은 있다. 그리고 그 단점은 확장성(scalability)라는 형식으로 드러난다. 문제는 서버가 로컬 스토리지에 의지할 경우 어떻게 필요한 기능들을 추가하느냐는 것이다. 
 
보통, 이런 딜레마를 해결하는 데에는 두 가지 방법이 있다. 첫 번째는 부수적인 서버를 더 많은 로컬 스토리지와 함께 설치하는 것이다. 두 번째는 멤버 서버에 기능을 증가시키는 것이다. 두 가지 방법 모두 하드웨어의 구입 및 공급이 필요하다. 이 경우 다운타임(downtime)이 발생할 수 있으며 전체적인 구조를 다시 설계해야 할 수도 있다. 
 
그럼에도 불과하고, 둘 가운데 어떤 방법을 사용하든 SAN에 부가적인 기능을 추가하는 것보다는 비용이 적게 든다는 것은 분명한 사실이며, 이는 그냥 지나칠 수 없는 장점이다.
 
하둡의 경우 다른 저장 방법들도 있다. 예를 들어, 몇몇 주요 스토리지 판매업체들은 하둡 및 빅 데이터 애널리틱스 만을 위해 고안된 스토리지 어플라이언스(storage appliances)들을 제작하고 있다. 그 가운데에는 현재 그린플럼 HD 데이터 컴퓨팅 어플라이언스(Greenplum HD Data Computing Appliance)와 같은 하둡 솔루션을 제공하는 EMC같은 업체도 있다. 
 
오라클의 경우 한 발 더 나아가 고속 스토리지 뿐 아니라 컴퓨트 파워(compute power)를 제공하는 엑사데이터(Exadata) 시리즈를 내놓기도 했다.
 
마지막으로, 빅 데이터를 처리하기 위한 또 다른 선택권 중 하나는 클라우드를 이용하는 것이다. 클라우드라, 마이크로소프트, 아마존 및 많은 기업들이 클라우드 기반 빅 데이터 솔루션들을 제공하고 있다. 이 솔루션들은 처리 능력 및 스토리지 등을 제공한다.
 
빅 데이터 스토리지 솔루션에 대한 결정을 내리는 데 있어서 고려해야 할 사항은 얼마만큼의 저장 공간이 필요한지, 어떤 종류의 데이터를 처리할 지, 얼마나 자주 분석을 하게 될 지 등이다. 보안, 예산, 그리고 처리 시간 문제와 더불어, 이러한 요소들은 빅 데이터에 투자하기 이전에 반드시 검토돼야 한다.
 
아마도 시범 사업을 먼저 해 보는 것이 좋은 시작점이 될 수 있을 것이며, 상업용 하드웨어(commodity hardware)는 빅 데이터에 있어서 적은 비용으로 할 수 있는 투자다.
 
프랭크 J. 올스트는 뉴욕에 기반을 둔 테크놀로지 저널리스트이자 IT 비즈니스 컨설턴트다.
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.