2012.04.30

빅 데이터를 위한 가장 좋은 저장 서비스는?

Frank J. Ohlhorst | CIO
디스크 저장은 옷장과 공통점이 많다. 항상 공간이 부족하다 느껴진다는 점에서 말이다. 특히 빅 데이터(big data) 저장에 있어서 더욱 그러하다. 그 이름에서도 짐작할 수 있듯, 빅 데이터는 일반 스토리지 플랫폼이 감당하기 힘든 정도의 용량을 지니고 있다. 그렇다면 믿을 수 있는 정보는 적고 내려야 할 결정들은 많아 걱정만 가득한 CIO는 어떻게 해야 할까?
 
그러나, 어려워만 보이는 '빅 데이터에 알맞은 저장 공간 찾기'도 불가능한 일만은 아니다. 결국 이 문제는 문제에 대한 기초적인 이해와 약간의 상식, 그리고 예산상의 제약의 조합에 의해 결정되는 것이기 때문이다.
 
빅 데이터, 왜 중요한가
우선, 빅 데이터가 다른 종류의 데이터들과 어떻게 다르며, 빅 데이터와 관련된 기술들(주로 애널리틱스 애플리케이션)이 어떻게 작동하는 지 아는 것이 중요하다. 
 
빅 데이터 그 자체로는 단순히 기존의 저장 기술로 저장할 수 없는 막대한 양의 데이터를 의미한다. 그러나 그것만으로는 빅 데이터를 완전히 이해한 것이 아니다. 
 
빅 데이터는 테라바이트, 심지어는 페타바이트 수준의 정보를 의미하며 이런 정보들은 데이터베이스, 로그, SQL 등등의 구조적 데이터와 (소셜미디어, 센서, 멀티미디어 등의 비정형 데이터의 조합이기 때문이다. 게다가 대부분의 데이터들은 인덱스(index)나 기타 유기적인 구조를 갖추지 못했으며 다양한 종류의 파일들로 구성돼 있다.
 
이런 이유로, 빅 데이터를 다루는 일은 몹시 까다로운 작업이다. 일관성이 부족하기 때문에 기존의 정보 처리나 저장 기술은 옵션에서 제외되며, 방대한 데이터의 양 자체만으로도 보통 서버나 SAN 방식을 사용해 처리하는 것 역시 어려워지기 때문이다. 
 
다시 말해, 빅 데이터는 새로운 처리 방식을 필요로 한다. 빅 데이터만의 플랫폼 말이다. 그래서 빅 데이터 분산처리 플랫폼인 하둡(Hadoop)이 등장했다. 
 
하둡은 오픈 소스로 제공되는 빅 데이터 분산처리 플랫폼으로, 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 코모디티 하드웨어(서버 및 내부 서버 저장)를 포함한 플랫폼을 건설할 방식을 제시해준다. 
 
스토리지 측면에서 보면, 클러스터 내부에서 매우 큰 파일들을 저장할 수 있는 하둡 분산 파일 시스템(HDFS, Hadoop Distributed File Systems)이 가장 중요한 요소라 할 수 있다. HDFS는 다중 데이터 블록 복제를 생성해 클러스터 내부의 컴퓨트 노드(compute nodes)에 배포하는 방식으로 작동한다. 이로 인해 믿을 수 있고 매우 빠른 계산이 가능해진다.
 
지금까지의 사실들을 고려해 봤을 때, 빅 데이터에 알맞은 저장 플랫폼을 건설하는 가장 쉬운 방법은 상용 서버(commodity server)를 구매해 테라바이트 용량의 드라이브를 갖추게 한 후 나머지는 하둡이 처리하도록 맡겨놓으면 그만인 듯이 보인다. 
 
규모가 작은 기업들에게는 그렇듯 간편한 방법으로도 가능할 지 모른다. 그러나, 프로세싱 성능(processing performance)이나 알고리즘 복잡도(algorithm complexity), 또는 데이터 마이닝이라는 문제가 끼면 그것만으로는 부족하게 느껴질 것이다.
 


2012.04.30

빅 데이터를 위한 가장 좋은 저장 서비스는?

Frank J. Ohlhorst | CIO
디스크 저장은 옷장과 공통점이 많다. 항상 공간이 부족하다 느껴진다는 점에서 말이다. 특히 빅 데이터(big data) 저장에 있어서 더욱 그러하다. 그 이름에서도 짐작할 수 있듯, 빅 데이터는 일반 스토리지 플랫폼이 감당하기 힘든 정도의 용량을 지니고 있다. 그렇다면 믿을 수 있는 정보는 적고 내려야 할 결정들은 많아 걱정만 가득한 CIO는 어떻게 해야 할까?
 
그러나, 어려워만 보이는 '빅 데이터에 알맞은 저장 공간 찾기'도 불가능한 일만은 아니다. 결국 이 문제는 문제에 대한 기초적인 이해와 약간의 상식, 그리고 예산상의 제약의 조합에 의해 결정되는 것이기 때문이다.
 
빅 데이터, 왜 중요한가
우선, 빅 데이터가 다른 종류의 데이터들과 어떻게 다르며, 빅 데이터와 관련된 기술들(주로 애널리틱스 애플리케이션)이 어떻게 작동하는 지 아는 것이 중요하다. 
 
빅 데이터 그 자체로는 단순히 기존의 저장 기술로 저장할 수 없는 막대한 양의 데이터를 의미한다. 그러나 그것만으로는 빅 데이터를 완전히 이해한 것이 아니다. 
 
빅 데이터는 테라바이트, 심지어는 페타바이트 수준의 정보를 의미하며 이런 정보들은 데이터베이스, 로그, SQL 등등의 구조적 데이터와 (소셜미디어, 센서, 멀티미디어 등의 비정형 데이터의 조합이기 때문이다. 게다가 대부분의 데이터들은 인덱스(index)나 기타 유기적인 구조를 갖추지 못했으며 다양한 종류의 파일들로 구성돼 있다.
 
이런 이유로, 빅 데이터를 다루는 일은 몹시 까다로운 작업이다. 일관성이 부족하기 때문에 기존의 정보 처리나 저장 기술은 옵션에서 제외되며, 방대한 데이터의 양 자체만으로도 보통 서버나 SAN 방식을 사용해 처리하는 것 역시 어려워지기 때문이다. 
 
다시 말해, 빅 데이터는 새로운 처리 방식을 필요로 한다. 빅 데이터만의 플랫폼 말이다. 그래서 빅 데이터 분산처리 플랫폼인 하둡(Hadoop)이 등장했다. 
 
하둡은 오픈 소스로 제공되는 빅 데이터 분산처리 플랫폼으로, 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 코모디티 하드웨어(서버 및 내부 서버 저장)를 포함한 플랫폼을 건설할 방식을 제시해준다. 
 
스토리지 측면에서 보면, 클러스터 내부에서 매우 큰 파일들을 저장할 수 있는 하둡 분산 파일 시스템(HDFS, Hadoop Distributed File Systems)이 가장 중요한 요소라 할 수 있다. HDFS는 다중 데이터 블록 복제를 생성해 클러스터 내부의 컴퓨트 노드(compute nodes)에 배포하는 방식으로 작동한다. 이로 인해 믿을 수 있고 매우 빠른 계산이 가능해진다.
 
지금까지의 사실들을 고려해 봤을 때, 빅 데이터에 알맞은 저장 플랫폼을 건설하는 가장 쉬운 방법은 상용 서버(commodity server)를 구매해 테라바이트 용량의 드라이브를 갖추게 한 후 나머지는 하둡이 처리하도록 맡겨놓으면 그만인 듯이 보인다. 
 
규모가 작은 기업들에게는 그렇듯 간편한 방법으로도 가능할 지 모른다. 그러나, 프로세싱 성능(processing performance)이나 알고리즘 복잡도(algorithm complexity), 또는 데이터 마이닝이라는 문제가 끼면 그것만으로는 부족하게 느껴질 것이다.
 


X