AIㆍML

"AI 학습과 추론을 한 번에" 2세대 '데이터스케일' 공개

Andy Patrizio | Network World 2022.10.05
삼바노바 시스템(SambaNova Systems)이 AI와 머신러닝 전용 장비인 데이터스케일(DataScale) 시스템 2세대 제품을 출시했다. 삼바노바는 전 오라클/썬 하드웨어 담당 임원과 스탠퍼드대 교수가 주도하는 스타트업이다. 기업 이름이 낯설 수 있지만 이 기업의 제품을 사용하는 곳은 익히 들어봤을 것이다. 로렌스 리버모어 국립연구소(Lawrence Livermore National Laboratory)가 대표적인데, 2020년에 데이터스케일을 코로나19 연구에 활용한 바 있다.



삼바노바의 제품 담당 수석 부사장 마샬 초이는 "우리 제품은 로렌스 리버모어 국립연구소의 슈퍼컴퓨터에 적용돼 코로나19 항체 합성과 치료 관련 연구에 활용됐다. 이것은 일부일 뿐이다. 팬데믹이 악화하면서 우리 제품이 더 많은 일을 담당했다"라고 말했다.

애초에 삼바노바는 DARPA의 자금 지원을 받는 연구 프로젝트에서 유래한 소프트웨어 기업으로 출발했다. 초기 활동 목표는 개발자가 머신러닝 워크로드 같은 데이터 흐름 애플리케이션을 더 쉽게 만들 수 있도록 사용하기 편하고 유연한 소프트웨어 스택을 개발하는 것이었다. 그러나 이 소프트웨어 스택을 운용할 하드웨어를 마땅하게 찾지 못했고 결국 직접 만들기로 했다.

데이터스케일 SN30은 표준 데이터센터 랙의 2U 셸에 들어가는 완전한 하드웨어와 소프트웨어 스택이다. 삼바노바가 자체 개발하고 TSMC가 생산한 카디널 SN30 RDU(Reconfigurable Data Unit) 프로세서를 사용한다. 카디널 SN30 RDU에는 860억 개 트랜지스터가 집적돼 있어 688 테라플롭 연산을 한다. 삼바노바는 CPU와 GPU에 불만이었고 신경망에 적합하지 않다고 판단했다.

초이는 "신경망의 발전 속도는 프로세서를 새로 개발해 내놓는 시간보다 더 빠르다. 유연한 실리콘 기판을 사용해야 하는 이유이고 바로 우리가 만들고 있는 것이기도 하다. 아키텍처 자체가 소프트웨어 실행되는 작업 중 우선하는 것에 따라 각 클록을 재설정할 수 있어야 한다"라고 말했다.

이런 필요는 FPGA로도 맞출 수 있을 것처럼 들린다. 그러나 꼭 그렇지는 않다. 초이는 이를 CGRA(coarse-grained reconfigurable architecture)라고 지칭했다. FPGA는 매우 유연하지만 프로그램하기가 상당히 어렵다. 삼바노바는 더 높은 수준의 머신러닝 프레임워크에 맞추되 FPGA처럼 복잡하지 않게 설계했다. 이렇게 만든 하드웨어 위에는  리눅스 기반 소프트웨어 스택 '삼바플로우(SambaFlow)'가 올라간다. 컨테이너와 가상화 모델을 오케스트레이션하는 네이티브 쿠버네티스 등 다양한 기업 인프라에 통합할 수 있다.

삼바노바에 따르면, 130억 개 변수를 가진 GPT-3 모델을 학습시켜야 할 때 데이터스케일 SN30 시스템을 이용하면 8소켓 엔비디아 DGX A100 시스템보다 8배 더 빠르게 작업을 처리한다. 초이는 "보통 AI 시스템은 학습과 추론 작업을 위해 별도로 시스템을 구축한다. 예를 들어 CPU와 GPU를 이용할 때 GPU에서 학습시키고 CPU에서 추론 작업을 했다. 두 시스템 간에 막대한 데이터 이동이 발생했다. 반면 삼바노바를 이용하면 학습과 추론을 단일 시스템 내에서 처리한다. 비용이 많이 드는 데이터 이동 작업이 필요 없다"라고 말했다.

한편 데이터스케일 시스템은 온프레미스 설치 방식은 물론 온디맨드 클라우드 서비스를 모두 지원한다.
editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.