데이터ㆍ분석 / 데이터센터 / 서버

"빅데이터 처리, RAM보다 플래시가 경제적"…MIT 연구 조사 발표

Lucas Mearian | Computerworld 2015.07.14

고속 데이터 처리에 있어 RAM은 언제나 컴퓨터의 핵심 메모리였다. 하드 디스크 드라이브보다 수천 배 빠르고, 나노 플래시에 비해서도 몇 배나 더 빠르기 때문이다.

그러나 MIT 연구진이 빅데이터 애플리케이션에서는 플래시의 처리 속도가 RAM과 같고 비용은 훨씬 저렴하다는 것을 증명하는 서버 네트워크 모형을 공개했다.

빅데이터 시대에서 대량의 데이터로 수백만 사용자의 구매 패턴을 밝혀내거나 수천만 개의 데이터 집합에서 금융 시장의 흐름을 예측하는 것은 단일 컴퓨터 RAM으로는 불가능한 일이다. 일례로 인간 유전자 하나를 처리하는 데 필요한 데이터 처리에는 일반적으로 40~100대의 컴퓨터가 필요하다.
 


지난달 국제 컴퓨터 아키텍처 심포지엄(International Symposium on Computer Architecture)에서 MIT 과학자들이 플래시 메모리가 전통적인 RAM만큼 효율적이고 전력과 하드웨어 비용도 줄일 수 있다는 사실을 증명하는 새로운 시스템을 공개했다.

MIT 컴퓨터 과학과 아빈드 미탈 교수는 “10TB의 데이터를 처리하기 위해 시스템을 구매한다고 가정해 보자. DRAM에서 처리하려면 서버의 DRAM 용량이 100GB라고 생각할 때 컴퓨터 100대가량의 클러스터가 필요하다. 이때는 약 40만 달러의 비용이 든다”고 설명했다.

각각의 서버는 FPGA(Field-Programmable Gate Array)에 연결된다. 각각의 FPGA도 역시 500GB 플래시 칩과 서버 랙에 있는 가장 가까운 2개의 FPGA에 연결된다.

아빈드 교수는 플래시 메모리에서 10TB 데이터를 처리하는 데에는 각 1TB의 플래시 스토리지 컴퓨터 10대만 있으면 가능하며, PFGA 기반의 가속 하드웨어를 포함해도 전체 비용이 7만 달러 이하일 것이라고 설명했다.

또한, 아빈드 교수는 “플래시 기반 시스템에서 개별 서버에 많은 DRAM이 필요하지 않다는 사실을 고려하면, 가격은 더 내려갈 수도 있다. DRAM이 더 적은 보급형 서버를 사용할 경우 약 4만 달러로 시스템을 구성할 수 있다”고 주장했다.

즉 플래시가 DRAM보다 더 전력을 적게 소비하고 필요한 서버 대수도 적기 때문에 플래시 기반 시스템을 유지하는 것이 훨씬 더 경제적이라는 주장이다. MIT에서 공개한 서버 네트워크 프로토타입에 따르면 플래시나 FPGA가 소비하는 추가 전력을 고려해도 플래시 스토리지 기기가 전체 시스템 소비 전력의 약 10%만 증가한다는 결과를 나타냈다.

실제로 연구진은 네트워크를 새로 구성하지 않아도 분산 계산 네트워크에서 작동하는 서버가 데이터를 검색하기 위해 단시간 동안 디스크 드라이브를 사용할 경우, 성능은 플래시를 사용할 때와 똑같다는 연구 결과를 보여준다.

즉 RAM 10TB 용량의 서버 40대가 10.5TB를 처리하는 시간이 20TB 플래시 메모리 서버 20대보다 더 오래 걸린다. 그리고 플래시 메모리는 더 저렴하며 전력도 덜 소비한다.

연구자들은 분산 계산 네트워크의 효율성을 증가시키며, 데이터를 서버로 다시 전달하기 전에 데이터 일부를 미리 저리하는 플래시 드라이브를 사용했다.

아빈드 교수는 “플래시 메모리가 DRAM을 대체한다는 뜻은 전혀 아니다”고 강조했다 “플래시 메모리의 다양한 가능성에 대한 실험이 많다. 이번 실험은 디스크 공간에 있어서 새로운 시각을 제공하는 것이 목적”이라고 밝혔다.

이번 연구 조사 결과는 RAM을 대체하고 플래시 기반 컴퓨터 아키텍처의 경제적인 이점을 활용할 수 있는 수많은 애플리케이션의 가능성을 나타낸 것으로 보인다. editor@itworld.co.kr 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.