2018.02.12

텐서플로우 리뷰 : 더 좋아진 최고의 딥 러닝 라이브러리

Martin Heller | InfoWorld

버전 r1.5가 된 구글의 오픈소스 머신러닝 신경망 라이브러리는 더 많은 기능을 제공하고, 더 성숙해 졌으며, 배워서 사용하기도 더 쉬워졌다.

작년에 텐서플로우를 딥 러닝(Deep Learning) 프레임워크로 검토한 결과 사용하기에 너무 어렵다거나 너무 미성숙했다고 판단했다면, 다시 살펴봐야 할 때가 된 것 같다.

필자가 작년 10월 텐서플로우 r0.10을 리뷰한 이후, 구글의 딥 러닝용 오픈소스 프레임워크는 더욱 성숙해졌으며, 더 많은 알고리즘과 배치 옵션을 구현했으며, 프로그램 하기도 더 쉬워졌다. 텐서플로우는 이제 버전 r1.4.1(안정화 버전과 웹 문서), r1.5 (RC: Release Candidate), 그리고 선 공개 r1.6 (마스터 브랜치(Master Branch)와 데일리 빌드(Daily Build))까지 나와있다.

Image Credit : GettyImagesBank

텐서플로우 프로젝트는 매우 활동적이었다. 대충 살펴보면, 깃허브(GitHub) 상의 텐서플로우 리포지토리는 현재 약 2만 7,000회의 커밋(Commit), 8만 5,000개의 스타, 그리고 4만 2,000번의 포크(Fork)를 기록하고 있다. 이런 숫자는 많은 작업과 관심을 반영하는 인상적인 수치들이며, Node.js 리포지토리의 활동을 뛰어 넘고 있다. 아마존이 강력하게 후원하고 있는, 필적할 만한 프레임워크인 MXNet은 7,000회 이하의 커밋, 약 12,000 개의 스타, 그리고 5,000번 이하의 포크로 훨씬 낮은 활동 수치를 보여주고 있다. 2017년 2월에 발표된 텐서플로우 r1.0 릴리즈에서 주목할 만한 또 다른 통계는 사람들이 6,000개 이상의 온라인 오픈소스 리포지토리에서 텐서플로우를 사용하고 있었다는 점이다.

텐서플로우의 특징
텐서플로우는 1년 전과 마찬가지로 손글씨 숫자 분류를 위한 DNN(Deep Neural Network), 이미지 인식, 워드 임베딩(Word Embedding), RNN(Recurrent Neural Network), 기계 번역을 위한 시퀀스 투 시퀀스(Sequence-to-Sequence) 모델, 자연어 처리(NLP: Natural Language Processing), 그리고 PDE(Partial Differential Equation: 편 미분방정식) 기반 시뮬레이션 등을 학습해서 실행할 수 있다.

여전히 CPU와 엔비디아 GPU를 지원한다. 우분투 리눅스, 맥OS, 안드로이드, iOS를 지원하며, 윈도우에서 이전보다 더 잘 실행된다. 단지 더 유연할 뿐이지, 학습을 위해 사용된 것과 같은 모델을 시용해서 대규모의 프로덕션 프레딕션(Production Prediction)도 지원할 수 있다. 여전히 자동 미분을 수행할 뿐 아니라, 텐서보드(TensorBoard)에 모델 가상화 도구도 가지고 있으며, (R과 스칼라 프로그래머들에게는 미안하지만) 아직도 파이썬 언어에 대한 최고의 지원을 제공하고 있다.

R0.10 이후, 텐서플로우는 필자가 겨우 중요사항들만을 언급할 수 있을 정도로 수많은 버그에 대한 수정뿐 아니라 매우 여러 가지의 개선, 확장, 그리고 추가 기능을 발표했다. 예를 들면, 여러 가지 버전들이 CUDA와 cuDNN 라이브러리 지원을 업그레이드해 최신 엔비디아 GPU에 최적화된 코드를 적용함으로써 성능을 높였다. 텐서플로우는 HDFS(Hadoop File System) 지원, 훨씬 더 나아진 윈도우 구현, 새로운 솔버(Solver), 그리고 더 나은 고(Go) 지원을 이루어냈다. 기대했던 대로 성능을 개선해주는 텐서플로우 그래프용 도메인 특화 컴파일러(Domain-specific Compiler)인 XLA와 텐서플로우 디버거가 발표되었다. 이와 동시에, 텐서플로우는 PyPl이나 pip 같은 표준 파이썬 인프라 그리고 과학 컴퓨팅 커뮤니티에서 널리 사용되는 NumPy 패키지와 더 잘 동작하기 시작했다.

RNN(Recurrent Neural Network, 보통 자연어처리용으로 사용된다) 지원의 상당한 개선과 CPU 상에서의 딥 러닝 성능 개선을 위한 새로운 인텔 MKL(Math Kernel Library) 통합도 이루어졌다. 프로그래밍 측면에서는 몇 가지 리그레서(Regressor)와 클래시파이어(Classifier)를 포함해서 미리 준비된 에스티메이터(Canned Estimator, 사전 정의된 모델 네트워크)가 라이브러리에 추가되었다. 통계 분포(Statistical Distribution), 신호 처리 프리미티브(Signal Processing Primitive), 그리고 이미지에 대한 편미분 재표집(Differentiable Resampling) 등의 용도로 라이브러리가 추가되었다. 표준 구현물이 MXNet, 딥 러닝4j(Deeplearning4j), 마이크로소프트 CNTK(Cognitive Toolkit), 그리고 테아노(Theano) 상에서도 실행되는 고급 신경망 API인 케라스(Keras)의 텐서플로우 특화 구현물이 개발되었다. 이 커뮤니티 개발 프로세스는 여러 공헌 모듈이 코어 라이브러리도 이관되고, 서버 라이브러리가 결과물 배포를 개선함으로써 효율성을 입증했다.

학습 데이터셋 라이브러리가 추가되었으며, 이전 버전과의 호환성도 보장한다. 이는 표준 학습 데이터셋에 대한 새로운 모델을 개발할 때 유용하다. 자바 지원이 추가되었으며, 여러 차례 개선되었다. 끝으로, 텐서플로우 r1.5에서 NumPy처럼 명령형 프로그래밍 스타일을 지원하는 텐서플로우에 대한 실험적 인터페이스인 이거 실행(Eager Execution)과 텐서플로우 라이트(모바일과 임베디드 디바이스용 프레딕션) 프리뷰가 발표되었다.

텐서플로우 설치
전반적으로 텐서플로우 설치가 눈에 띄게 향상되었다. 이번 버전과 마찬가지로 텐서플로우 설치에는 파이썬 가상 환경, “네이티브(Native) pip, 도커, 그리고 소스를 사용한 구축을 포함해서 여러 가지 방법이 있다. 텐서플로우 팀은 virtualenv를 사용한 설치를 권장한다. 필자는 이전에 맥북 프로 상에서 설치했던 경험이 있고, 이전 설치로부터 공간을 확보하기 위해 일괄 제거를 수행하고 싶지 않았기 때문에 “네이티브” pip 방식을 사용했다.

비교적 최근에 추가된 설치 옵션인 맥용 텐서플로우 나이틀리 빌드(Nightly Build) 설치 작업은 잘 동작했다. 설치/업그레이드 후, 필자는 표준 텐서플로우 기능 시험을 대화형으로 진행했다.

텐서플로우 팀은 번호가 매겨진 릴리즈 버전의 바이너리 외에 이제는 리눅스, 맥, 그리고 윈도우용 나이틀리 마스터 브랜치 파이썬 wheel 바이너리를 제공하고 있다. 필자의 경우 나이틀리 맥 CPU wheel은 다음 명령어를 사용해서 쉽게 설치 되었다:

sudo pip install tf-nightly

비록 마스터 브랜치 문서에 따르면 3가지 플랫폼 모두에 대해 CPU와 GPU 버전의 나이틀리 빌드 라이브러리가 모두 있다고 하지만, 필자는 맥용 GPU 버전을 설치할 수 없었다. 즉 pip이 찾아낼 수 없었다. 필자의 과거 경험에 따르면, 맥 GPU 버전이 폐기된 r1.2까지도 맥 GPU 버전이 설치하려 시도는 하지만 실제로는 동작한 적이 없었다. r1.6용으로 맥 GPU를 복원하려는 계획이 실제로 있는 것인지, 또는 나이틀리 빌드 문서가 잘못된 것인지 확실치 않다. 어쨌든 기존 설치본을 덮어써서 손상시키는 것보다는 GPU 설치에서 얼른 실패하는 편이 더 낫다.



2018.02.12

텐서플로우 리뷰 : 더 좋아진 최고의 딥 러닝 라이브러리

Martin Heller | InfoWorld

버전 r1.5가 된 구글의 오픈소스 머신러닝 신경망 라이브러리는 더 많은 기능을 제공하고, 더 성숙해 졌으며, 배워서 사용하기도 더 쉬워졌다.

작년에 텐서플로우를 딥 러닝(Deep Learning) 프레임워크로 검토한 결과 사용하기에 너무 어렵다거나 너무 미성숙했다고 판단했다면, 다시 살펴봐야 할 때가 된 것 같다.

필자가 작년 10월 텐서플로우 r0.10을 리뷰한 이후, 구글의 딥 러닝용 오픈소스 프레임워크는 더욱 성숙해졌으며, 더 많은 알고리즘과 배치 옵션을 구현했으며, 프로그램 하기도 더 쉬워졌다. 텐서플로우는 이제 버전 r1.4.1(안정화 버전과 웹 문서), r1.5 (RC: Release Candidate), 그리고 선 공개 r1.6 (마스터 브랜치(Master Branch)와 데일리 빌드(Daily Build))까지 나와있다.

Image Credit : GettyImagesBank

텐서플로우 프로젝트는 매우 활동적이었다. 대충 살펴보면, 깃허브(GitHub) 상의 텐서플로우 리포지토리는 현재 약 2만 7,000회의 커밋(Commit), 8만 5,000개의 스타, 그리고 4만 2,000번의 포크(Fork)를 기록하고 있다. 이런 숫자는 많은 작업과 관심을 반영하는 인상적인 수치들이며, Node.js 리포지토리의 활동을 뛰어 넘고 있다. 아마존이 강력하게 후원하고 있는, 필적할 만한 프레임워크인 MXNet은 7,000회 이하의 커밋, 약 12,000 개의 스타, 그리고 5,000번 이하의 포크로 훨씬 낮은 활동 수치를 보여주고 있다. 2017년 2월에 발표된 텐서플로우 r1.0 릴리즈에서 주목할 만한 또 다른 통계는 사람들이 6,000개 이상의 온라인 오픈소스 리포지토리에서 텐서플로우를 사용하고 있었다는 점이다.

텐서플로우의 특징
텐서플로우는 1년 전과 마찬가지로 손글씨 숫자 분류를 위한 DNN(Deep Neural Network), 이미지 인식, 워드 임베딩(Word Embedding), RNN(Recurrent Neural Network), 기계 번역을 위한 시퀀스 투 시퀀스(Sequence-to-Sequence) 모델, 자연어 처리(NLP: Natural Language Processing), 그리고 PDE(Partial Differential Equation: 편 미분방정식) 기반 시뮬레이션 등을 학습해서 실행할 수 있다.

여전히 CPU와 엔비디아 GPU를 지원한다. 우분투 리눅스, 맥OS, 안드로이드, iOS를 지원하며, 윈도우에서 이전보다 더 잘 실행된다. 단지 더 유연할 뿐이지, 학습을 위해 사용된 것과 같은 모델을 시용해서 대규모의 프로덕션 프레딕션(Production Prediction)도 지원할 수 있다. 여전히 자동 미분을 수행할 뿐 아니라, 텐서보드(TensorBoard)에 모델 가상화 도구도 가지고 있으며, (R과 스칼라 프로그래머들에게는 미안하지만) 아직도 파이썬 언어에 대한 최고의 지원을 제공하고 있다.

R0.10 이후, 텐서플로우는 필자가 겨우 중요사항들만을 언급할 수 있을 정도로 수많은 버그에 대한 수정뿐 아니라 매우 여러 가지의 개선, 확장, 그리고 추가 기능을 발표했다. 예를 들면, 여러 가지 버전들이 CUDA와 cuDNN 라이브러리 지원을 업그레이드해 최신 엔비디아 GPU에 최적화된 코드를 적용함으로써 성능을 높였다. 텐서플로우는 HDFS(Hadoop File System) 지원, 훨씬 더 나아진 윈도우 구현, 새로운 솔버(Solver), 그리고 더 나은 고(Go) 지원을 이루어냈다. 기대했던 대로 성능을 개선해주는 텐서플로우 그래프용 도메인 특화 컴파일러(Domain-specific Compiler)인 XLA와 텐서플로우 디버거가 발표되었다. 이와 동시에, 텐서플로우는 PyPl이나 pip 같은 표준 파이썬 인프라 그리고 과학 컴퓨팅 커뮤니티에서 널리 사용되는 NumPy 패키지와 더 잘 동작하기 시작했다.

RNN(Recurrent Neural Network, 보통 자연어처리용으로 사용된다) 지원의 상당한 개선과 CPU 상에서의 딥 러닝 성능 개선을 위한 새로운 인텔 MKL(Math Kernel Library) 통합도 이루어졌다. 프로그래밍 측면에서는 몇 가지 리그레서(Regressor)와 클래시파이어(Classifier)를 포함해서 미리 준비된 에스티메이터(Canned Estimator, 사전 정의된 모델 네트워크)가 라이브러리에 추가되었다. 통계 분포(Statistical Distribution), 신호 처리 프리미티브(Signal Processing Primitive), 그리고 이미지에 대한 편미분 재표집(Differentiable Resampling) 등의 용도로 라이브러리가 추가되었다. 표준 구현물이 MXNet, 딥 러닝4j(Deeplearning4j), 마이크로소프트 CNTK(Cognitive Toolkit), 그리고 테아노(Theano) 상에서도 실행되는 고급 신경망 API인 케라스(Keras)의 텐서플로우 특화 구현물이 개발되었다. 이 커뮤니티 개발 프로세스는 여러 공헌 모듈이 코어 라이브러리도 이관되고, 서버 라이브러리가 결과물 배포를 개선함으로써 효율성을 입증했다.

학습 데이터셋 라이브러리가 추가되었으며, 이전 버전과의 호환성도 보장한다. 이는 표준 학습 데이터셋에 대한 새로운 모델을 개발할 때 유용하다. 자바 지원이 추가되었으며, 여러 차례 개선되었다. 끝으로, 텐서플로우 r1.5에서 NumPy처럼 명령형 프로그래밍 스타일을 지원하는 텐서플로우에 대한 실험적 인터페이스인 이거 실행(Eager Execution)과 텐서플로우 라이트(모바일과 임베디드 디바이스용 프레딕션) 프리뷰가 발표되었다.

텐서플로우 설치
전반적으로 텐서플로우 설치가 눈에 띄게 향상되었다. 이번 버전과 마찬가지로 텐서플로우 설치에는 파이썬 가상 환경, “네이티브(Native) pip, 도커, 그리고 소스를 사용한 구축을 포함해서 여러 가지 방법이 있다. 텐서플로우 팀은 virtualenv를 사용한 설치를 권장한다. 필자는 이전에 맥북 프로 상에서 설치했던 경험이 있고, 이전 설치로부터 공간을 확보하기 위해 일괄 제거를 수행하고 싶지 않았기 때문에 “네이티브” pip 방식을 사용했다.

비교적 최근에 추가된 설치 옵션인 맥용 텐서플로우 나이틀리 빌드(Nightly Build) 설치 작업은 잘 동작했다. 설치/업그레이드 후, 필자는 표준 텐서플로우 기능 시험을 대화형으로 진행했다.

텐서플로우 팀은 번호가 매겨진 릴리즈 버전의 바이너리 외에 이제는 리눅스, 맥, 그리고 윈도우용 나이틀리 마스터 브랜치 파이썬 wheel 바이너리를 제공하고 있다. 필자의 경우 나이틀리 맥 CPU wheel은 다음 명령어를 사용해서 쉽게 설치 되었다:

sudo pip install tf-nightly

비록 마스터 브랜치 문서에 따르면 3가지 플랫폼 모두에 대해 CPU와 GPU 버전의 나이틀리 빌드 라이브러리가 모두 있다고 하지만, 필자는 맥용 GPU 버전을 설치할 수 없었다. 즉 pip이 찾아낼 수 없었다. 필자의 과거 경험에 따르면, 맥 GPU 버전이 폐기된 r1.2까지도 맥 GPU 버전이 설치하려 시도는 하지만 실제로는 동작한 적이 없었다. r1.6용으로 맥 GPU를 복원하려는 계획이 실제로 있는 것인지, 또는 나이틀리 빌드 문서가 잘못된 것인지 확실치 않다. 어쨌든 기존 설치본을 덮어써서 손상시키는 것보다는 GPU 설치에서 얼른 실패하는 편이 더 낫다.



X