AIㆍML / 개발자 / 데이터ㆍ분석 / 오픈소스

바이두, 딥 러닝 프레임워크로 '퀴베르네시스' 채택

Serdar Yegulalp  | InfoWorld 2017.02.14
바이두(Baidu)의 딥 러닝 오픈소스 프레임워크 패들패들(PaddlePaddle)이 이제 쿠버네티스(Kubernetes) 클러스터 관리 시스템과 호환된다. 이를 통헤 쿠버네티스를 실행할 수 있는 어느 곳에서나 대규모 모델을 교육시킬 수 있게 됐다.

이 호환성은 단순히 패들패들 교육에 사용 가능한 시스템의 범위를 확장할 뿐만 아니라 두 프로젝트를 기반으로 한 포괄적인 종단간 딥 러닝도 제공한다.


Credit: Activedia via pixabay

빅 K를 사용한 교육
딥 러닝 프레임워크가 결과를 생산하기 위해서는 주어진 데이터 집합을 사용해 교육을 시켜야 한다. 이 교육 프로세스는 프로세서 집약적인데다 시간도 많이 소비되지만 클러스터로 분산 실행하면 속도를 높일 수 있다.

바이두는 기계 번역, 검색 결과 순위 계산 등의 작업을 위한 모델을 클러스터를 통해 교육시키기 위해 패들(PArallel Distributed Deep LEarning, PADDLE, 즉 병렬 분산 딥 러닝)을 만들었다. 그리고 쿠버네티스 기여 업체인 코어OS(CoreOS)의 도움을 받아 이러한 클러스터를 관리하기 위해 쿠버네티스를 도입했다.

쿠버네티스는 수요에 따른 확장 또는 리소스 기반의 할당이 가능하므로 리소스 요구에 따라 작업을 클러스터로 묶거나 분산시켜 패들패들의 효율성을 높여준다. 바이두는 이번 변화에 대한 블로그 글에서 "GPU가 필요한 패들패들 작업과 큰 메모리 또는 디스크 I/O 처리량 등 다른 리소스가 필요한 작업을 동일한 물리적 컴퓨터 집합에서 조합할 수 있다"고 전했다.

바이두의 패들패들 기술 책임자인 위 왕은 쿠버네티스가 내고장성(fault tolerance)도 제공한다고 강조했다. 왕은 "스케일링 가운데 일부 작업의 컨테이너/프로세스에 장애가 발생하더라도 이런 작업이 보류되거나 멈추지 않도록 하고자 했다. 우리가 원하는 것은 속도가 느려지더라도 계속 실행되는 것"이라고 말했다.

진보적인 생각, 진보적인 시야
왕은 패들패들 사용자들이 이미 쿠버네티스로 기울어 있었다고 전했다. 바이두가 쿠버네티스를 바탕으로 패들패들을 구축할 계획을 수립한 것도 그래서다.

왕은 "많은 잠재 고객, 특히 전통적인 산업 분야의 고객들이 자체 클러스터에서 딥 러닝을 실행하는 데 관심이 있다. 우리는 쿠버네티스 커뮤니티와 협력해 클러스터 설치와 데이터 파이프라인 구축, AI를 포함한 완전한 솔루션을 제공하고자 한다"고 말했다.

딥 러닝 프레임워크와 함께, 모델의 교육과 실제 애플리케이션에서의 모델 사용을 분리하는 것도 갈수록 강조되고 있다. 교육 프로세스를 원활하게 실행하기 위해서는 상당한 CPU와 메모리가 필요하지만 비교적 저사양 하드웨어에 모델을 구축할 수 있는 길도 차차 열리고 있다.

텐서플로우(TensorFlow)는 이미 이러한 최적화를 모색 중이다. 교육 단계에 투입되는 딥 러닝의 핵심적인 연산이 증가함에 따라 교육 단계의 중요성이 커지고 있으며 이에 따라 강력하면서 손쉽게 관리가 가능한 교육 메커니즘에 대한 수요는 더 커질 것이다.

또한 하나 이상의 유력 클라우드 제공업체가 쿠버네티스 기반의 패들패들을 서비스로 제공하게 될 가능성도 있다. 클라우드 제공업체는 데이터가 존재하는 곳에서 더 가까이에서 해당 데이터를 처리할 수 있을 뿐만 아니라, 기업이 자체적으로 구성 가능한 수준을 훨씬 뛰어넘는 규모로 패들패들 기반의 딥 러닝을 제공할 수도 있다. editor@itworld.co.kr  

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.