2019.06.17

웨스턴 디지털, 오픈소스 제타바이트 스토리지 프로젝트 발표…스토리지 효율 20% 향상

Andy Patrizio | Network World
웨스턴 디지털이 ‘존드 스토리지(Zoned Storage)’라는 새로운 프로젝트를 발표했다. 이 프로젝트는 데이터를 저장할 때 체계화하는 방법을 개선하는 새로운 기술로 데이터센터에 좀 더 효율적인 제타바이트급 데이터 스토리지를 생성한다.
 
ⓒ GettyImagesBank

이 구상의 일환으로 웨스턴 디지털은 개발자 사이트를 개설해 오픈소스 방식의 표준 기반 툴과 기타 자원을 제공할 예정이다.

존드 스토리지 아키텍처는 웨스턴 디지털 하드웨어와 SMR(Singled Magnetic Recording) HDD용으로 개발된 것으로, 최대 15TB의 데이터를 저장할 수 있다. 최근 NVMe SSD용으로 떠오르는 ZNS(Zoned Name Space)를 지원해 내구성과 예측 가능성을 개선했다.

이번 구상은 비 SMR 드라이브나 비 NVMe SSD용으로는 개발하지 않는다. 웨스턴 디지털은 2023년이면 전체 HDD 출하량의 절반이 SMR일 것으로 추정한다. IDC가 2023년이면 한해 103제타바이트의 데이터가 생성될 것이라고 전망했기 때문에 SMR HDD의 비중도 늘어날 것이라는 계산이다.

웨스턴 디지털은 이번 프로젝트로 클라우드 및 하이퍼스케일 데이터센터 서비스 업체와 대규모 데이터를 관리해야 하는 대형 데이터센터를 노리고 있다. 웨스턴 디지털은 전통적인 무작위 4K 블록 쓰기부터 연속 데이터의 큰 블록까지 데이터를 기록하고 저장하는 방법을 바꾸고 있다. 빅데이터 워크로드나 비디오 스트림 등의 큰 블록은 규모와 사용도가 빠르게 증가하고 있다. 

웨스턴 디지털 제품 마케팅 담당 수석 디렉터 에디 라미레즈는 “우리는 현재 만능 아키텍처를 연구하고 있다. 만약 단일 아키텍처로 설계한다면, 많은 TCO 이점을 얻을 수 있다”며, “무작위 데이터의 작은 블록을 이용하지 않고 연속 쓰기 속성의 큰 블록에 의존하는 워크로드를 살펴보고 있다”고 설명했다.

드라이브가 4K 쓰기 블록을 사용하면 결국 스토리지의 오버프로비저닝으로 이어지고, 특히 SSD의 저장량과 내구성에 미치는 영향이 크다. 일반 소비자용 SSD와 기업용 SSD 모두 비슷하다. 라미레즈의 설명에 따르면, 1TB 드라이브에서 가용 용량은 930GB인데, 용량이 커지면 같이 증가해 8TB SSD의 가용 용량은 6.4TB이다. 여기에 SSD는 작은 블록의 임의 쓰기를 캐싱하기 위해 DRAM을 장착해야 하는데, NAND 1TB당 1GB가 필요하다.

존드 스토리지는 전통적인 스토리지 메커니즘보다 HDD에 15~20% 더 많은 데이터를 저장할 수 있다. SSD의 오버프로비저닝을 방지하기 때문에 드라이브가 가진 NAND 플래시를 온전하게 이용할 수 있고, DRAM 요구량도 더 적다. 웨스턴 디지털은 최대 1/8의 DRAM만 필요하기 때문에 비용도 절감할 수 있다고 설명했다.

라미레즈는 또한 QoS 역시 개선된다고 밝혔는데, 최고 성능이 반드시 개선되는 것은 아니지만 기준 이하의 지연을 더 잘 관리할 수 있다고 설명했다.

웨스턴 디지털은 이번 프로젝트와 관련된 비용에 대해서는 공개하지 않았다. 웨스턴 디지털은 자사 웹 사이트를 통해 존드 스토리지와 관련된 애플리케이션 개발을 촉진하기 위해 오픈소스 커뮤니티와 고객, 다른 업체와 협력해 나갈 계획이다.  editor@itworld.co.kr


2019.06.17

웨스턴 디지털, 오픈소스 제타바이트 스토리지 프로젝트 발표…스토리지 효율 20% 향상

Andy Patrizio | Network World
웨스턴 디지털이 ‘존드 스토리지(Zoned Storage)’라는 새로운 프로젝트를 발표했다. 이 프로젝트는 데이터를 저장할 때 체계화하는 방법을 개선하는 새로운 기술로 데이터센터에 좀 더 효율적인 제타바이트급 데이터 스토리지를 생성한다.
 
ⓒ GettyImagesBank

이 구상의 일환으로 웨스턴 디지털은 개발자 사이트를 개설해 오픈소스 방식의 표준 기반 툴과 기타 자원을 제공할 예정이다.

존드 스토리지 아키텍처는 웨스턴 디지털 하드웨어와 SMR(Singled Magnetic Recording) HDD용으로 개발된 것으로, 최대 15TB의 데이터를 저장할 수 있다. 최근 NVMe SSD용으로 떠오르는 ZNS(Zoned Name Space)를 지원해 내구성과 예측 가능성을 개선했다.

이번 구상은 비 SMR 드라이브나 비 NVMe SSD용으로는 개발하지 않는다. 웨스턴 디지털은 2023년이면 전체 HDD 출하량의 절반이 SMR일 것으로 추정한다. IDC가 2023년이면 한해 103제타바이트의 데이터가 생성될 것이라고 전망했기 때문에 SMR HDD의 비중도 늘어날 것이라는 계산이다.

웨스턴 디지털은 이번 프로젝트로 클라우드 및 하이퍼스케일 데이터센터 서비스 업체와 대규모 데이터를 관리해야 하는 대형 데이터센터를 노리고 있다. 웨스턴 디지털은 전통적인 무작위 4K 블록 쓰기부터 연속 데이터의 큰 블록까지 데이터를 기록하고 저장하는 방법을 바꾸고 있다. 빅데이터 워크로드나 비디오 스트림 등의 큰 블록은 규모와 사용도가 빠르게 증가하고 있다. 

웨스턴 디지털 제품 마케팅 담당 수석 디렉터 에디 라미레즈는 “우리는 현재 만능 아키텍처를 연구하고 있다. 만약 단일 아키텍처로 설계한다면, 많은 TCO 이점을 얻을 수 있다”며, “무작위 데이터의 작은 블록을 이용하지 않고 연속 쓰기 속성의 큰 블록에 의존하는 워크로드를 살펴보고 있다”고 설명했다.

드라이브가 4K 쓰기 블록을 사용하면 결국 스토리지의 오버프로비저닝으로 이어지고, 특히 SSD의 저장량과 내구성에 미치는 영향이 크다. 일반 소비자용 SSD와 기업용 SSD 모두 비슷하다. 라미레즈의 설명에 따르면, 1TB 드라이브에서 가용 용량은 930GB인데, 용량이 커지면 같이 증가해 8TB SSD의 가용 용량은 6.4TB이다. 여기에 SSD는 작은 블록의 임의 쓰기를 캐싱하기 위해 DRAM을 장착해야 하는데, NAND 1TB당 1GB가 필요하다.

존드 스토리지는 전통적인 스토리지 메커니즘보다 HDD에 15~20% 더 많은 데이터를 저장할 수 있다. SSD의 오버프로비저닝을 방지하기 때문에 드라이브가 가진 NAND 플래시를 온전하게 이용할 수 있고, DRAM 요구량도 더 적다. 웨스턴 디지털은 최대 1/8의 DRAM만 필요하기 때문에 비용도 절감할 수 있다고 설명했다.

라미레즈는 또한 QoS 역시 개선된다고 밝혔는데, 최고 성능이 반드시 개선되는 것은 아니지만 기준 이하의 지연을 더 잘 관리할 수 있다고 설명했다.

웨스턴 디지털은 이번 프로젝트와 관련된 비용에 대해서는 공개하지 않았다. 웨스턴 디지털은 자사 웹 사이트를 통해 존드 스토리지와 관련된 애플리케이션 개발을 촉진하기 위해 오픈소스 커뮤니티와 고객, 다른 업체와 협력해 나갈 계획이다.  editor@itworld.co.kr


X