텐서플로우 리뷰 : 더 좋아진 최고의 딥 러닝 라이브러리

InfoWorld

버전 r1.5가 된 구글의 오픈소스 머신러닝 신경망 라이브러리는 더 많은 기능을 제공하고, 더 성숙해 졌으며, 배워서 사용하기도 더 쉬워졌다.

작년에 텐서플로우를 딥 러닝(Deep Learning) 프레임워크로 검토한 결과 사용하기에 너무 어렵다거나 너무 미성숙했다고 판단했다면, 다시 살펴봐야 할 때가 된 것 같다.

필자가 작년 10월 텐서플로우 r0.10을 리뷰한 이후, 구글의 딥 러닝용 오픈소스 프레임워크는 더욱 성숙해졌으며, 더 많은 알고리즘과 배치 옵션을 구현했으며, 프로그램 하기도 더 쉬워졌다. 텐서플로우는 이제 버전 r1.4.1(안정화 버전과 웹 문서), r1.5 (RC: Release Candidate), 그리고 선 공개 r1.6 (마스터 브랜치(Master Branch)와 데일리 빌드(Daily Build))까지 나와있다.

Image Credit : GettyImagesBank

텐서플로우 프로젝트는 매우 활동적이었다. 대충 살펴보면, 깃허브(GitHub) 상의 텐서플로우 리포지토리는 현재 약 2만 7,000회의 커밋(Commit), 8만 5,000개의 스타, 그리고 4만 2,000번의 포크(Fork)를 기록하고 있다. 이런 숫자는 많은 작업과 관심을 반영하는 인상적인 수치들이며, Node.js 리포지토리의 활동을 뛰어 넘고 있다. 아마존이 강력하게 후원하고 있는, 필적할 만한 프레임워크인 MXNet은 7,000회 이하의 커밋, 약 12,000 개의 스타, 그리고 5,000번 이하의 포크로 훨씬 낮은 활동 수치를 보여주고 있다. 2017년 2월에 발표된 텐서플로우 r1.0 릴리즈에서 주목할 만한 또 다른 통계는 사람들이 6,000개 이상의 온라인 오픈소스 리포지토리에서 텐서플로우를 사용하고 있었다는 점이다.

텐서플로우의 특징
텐서플로우는 1년 전과 마찬가지로 손글씨 숫자 분류를 위한 DNN(Deep Neural Network), 이미지 인식, 워드 임베딩(Word Embedding), RNN(Recurrent Neural Network), 기계 번역을 위한 시퀀스 투 시퀀스(Sequence-to-Sequence) 모델, 자연어 처리(NLP: Natural Language Processing), 그리고 PDE(Partial Differential Equation: 편 미분방정식) 기반 시뮬레이션 등을 학습해서 실행할 수 있다.

여전히 CPU와 엔비디아 GPU를 지원한다. 우분투 리눅스, 맥OS, 안드로이드, iOS를 지원하며, 윈도우에서 이전보다 더 잘 실행된다. 단지 더 유연할 뿐이지, 학습을 위해 사용된 것과 같은 모델을 시용해서 대규모의 프로덕션 프레딕션(Production Prediction)도 지원할 수 있다. 여전히 자동 미분을 수행할 뿐 아니라, 텐서보드(TensorBoard)에 모델 가상화 도구도 가지고 있으며, (R과 스칼라 프로그래머들에게는 미안하지만) 아직도 파이썬 언어에 대한 최고의 지원을 제공하고 있다.

R0.10 이후, 텐서플로우는 필자가 겨우 중요사항들만을 언급할 수 있을 정도로 수많은 버그에 대한 수정뿐 아니라 매우 여러 가지의 개선, 확장, 그리고 추가 기능을 발표했다. 예를 들면, 여러 가지 버전들이 CUDA와 cuDNN 라이브러리 지원을 업그레이드해 최신 엔비디아 GPU에 최적화된 코드를 적용함으로써 성능을 높였다. 텐서플로우는 HDFS(Hadoop File System) 지원, 훨씬 더 나아진 윈도우 구현, 새로운 솔버(Solver), 그리고 더 나은 고(Go) 지원을 이루어냈다. 기대했던 대로 성능을 개선해주는 텐서플로우 그래프용 도메인 특화 컴파일러(Domain-specific Compiler)인 XLA와 텐서플로우 디버거가 발표되었다. 이와 동시에, 텐서플로우는 PyPl이나 pip 같은 표준 파이썬 인프라 그리고 과학 컴퓨팅 커뮤니티에서 널리 사용되는 NumPy 패키지와 더 잘 동작하기 시작했다.

RNN(Recurrent Neural Network, 보통 자연어처리용으로 사용된다) 지원의 상당한 개선과 CPU 상에서의 딥 러닝 성능 개선을 위한 새로운 인텔 MKL(Math Kernel Library) 통합도 이루어졌다. 프로그래밍 측면에서는 몇 가지 리그레서(Regressor)와 클래시파이어(Classifier)를 포함해서 미리 준비된 에스티메이터(Canned Estimator, 사전 정의된 모델 네트워크)가 라이브러리에 추가되었다. 통계 분포(Statistical Distribution), 신호 처리 프리미티브(Signal Processing Primitive), 그리고 이미지에 대한 편미분 재표집(Differentiable Resampling) 등의 용도로 라이브러리가 추가되었다. 표준 구현물이 MXNet, 딥 러닝4j(Deeplearning4j), 마이크로소프트 CNTK(Cognitive Toolkit), 그리고 테아노(Theano) 상에서도 실행되는 고급 신경망 API인 케라스(Keras)의 텐서플로우 특화 구현물이 개발되었다. 이 커뮤니티 개발 프로세스는 여러 공헌 모듈이 코어 라이브러리도 이관되고, 서버 라이브러리가 결과물 배포를 개선함으로써 효율성을 입증했다.

학습 데이터셋 라이브러리가 추가되었으며, 이전 버전과의 호환성도 보장한다. 이는 표준 학습 데이터셋에 대한 새로운 모델을 개발할 때 유용하다. 자바 지원이 추가되었으며, 여러 차례 개선되었다. 끝으로, 텐서플로우 r1.5에서 NumPy처럼 명령형 프로그래밍 스타일을 지원하는 텐서플로우에 대한 실험적 인터페이스인 이거 실행(Eager Execution)과 텐서플로우 라이트(모바일과 임베디드 디바이스용 프레딕션) 프리뷰가 발표되었다.

텐서플로우 설치
전반적으로 텐서플로우 설치가 눈에 띄게 향상되었다. 이번 버전과 마찬가지로 텐서플로우 설치에는 파이썬 가상 환경, “네이티브(Native) pip, 도커, 그리고 소스를 사용한 구축을 포함해서 여러 가지 방법이 있다. 텐서플로우 팀은 virtualenv를 사용한 설치를 권장한다. 필자는 이전에 맥북 프로 상에서 설치했던 경험이 있고, 이전 설치로부터 공간을 확보하기 위해 일괄 제거를 수행하고 싶지 않았기 때문에 “네이티브” pip 방식을 사용했다.

비교적 최근에 추가된 설치 옵션인 맥용 텐서플로우 나이틀리 빌드(Nightly Build) 설치 작업은 잘 동작했다. 설치/업그레이드 후, 필자는 표준 텐서플로우 기능 시험을 대화형으로 진행했다.

텐서플로우 팀은 번호가 매겨진 릴리즈 버전의 바이너리 외에 이제는 리눅스, 맥, 그리고 윈도우용 나이틀리 마스터 브랜치 파이썬 wheel 바이너리를 제공하고 있다. 필자의 경우 나이틀리 맥 CPU wheel은 다음 명령어를 사용해서 쉽게 설치 되었다:

sudo pip install tf-nightly

비록 마스터 브랜치 문서에 따르면 3가지 플랫폼 모두에 대해 CPU와 GPU 버전의 나이틀리 빌드 라이브러리가 모두 있다고 하지만, 필자는 맥용 GPU 버전을 설치할 수 없었다. 즉 pip이 찾아낼 수 없었다. 필자의 과거 경험에 따르면, 맥 GPU 버전이 폐기된 r1.2까지도 맥 GPU 버전이 설치하려 시도는 하지만 실제로는 동작한 적이 없었다. r1.6용으로 맥 GPU를 복원하려는 계획이 실제로 있는 것인지, 또는 나이틀리 빌드 문서가 잘못된 것인지 확실치 않다. 어쨌든 기존 설치본을 덮어써서 손상시키는 것보다는 GPU 설치에서 얼른 실패하는 편이 더 낫다.


하지만, 맥북 프로는 텐서플로우를 집중적으로 사용하여 딥 러닝 모델들을 학습시키는데 이상적인 기기는 아니다. 한 개 이상의 최신 고급 엔비디아 GPU를 장착하고 있는 리눅스 시스템으로 훨씬 더 잘할 수 있으며, 2,000달러 정도면 딥 러닝용 PC를 자체 조립할 수 있다. 학습 기능이 가끔 필요하다면, AWS, 애저, 구글 컴퓨트 엔진, 또는 IBM 클라우드 상의 GPU를 사용해서 감당할 수 있는 규모로 쉽게 텐서플로우를 실행할 수 있다.

텐서플로우 사용
1년 전 텐서플로우의 가장 큰 문제는 배우기가 너무 어렵고 모델을 만들기 위해 코딩을 너무 많이 해야 한다는 것이었다. 두 가지 문제가 해소되었다.

텐서플로우를 쉽게 배울 수 있도록 하기 위해 텐서플로우 팀은 더 많은 학습 교재를 만들어 냈으며, 기존 시작 튜토리얼을 개선했다. 뿐만 아니라 많은 서드파티 업체가 자체 텐서플로우 튜토리얼을 제작했다. 이제는 여러 권의 텐서플로우 서적이 출간되어 있으며, 몇 가지 온라인 텐서플로우 과정도 있다. 심지어는 스탠포드에서 딥 러닝 연구를 위한 텐서플로우(CS 20) 강의도 수강할 수 있으며, 모든 슬라이드와 강의 노트를 온라인으로 제공하고 있다.

텐서플로우 라이브러리의 몇 가지 새로운 섹션은 모델을 생성하고 학습시키는 데 더 적은 프로그래밍이 필요한 인터페이스도 제공하고 있다. 이런 인터페이스로는 엔진 중립적인 케라스 패키지의 텐서플로우 단독 버전을 제공하는 tf.keras, 그리고 모델을 가지고 작업하기 위한 여러 가지 고급 기능을 제공하는 tf.estimator가 있다. 둘은 모두 선형과 DNN(Linear, Deep Neural Networks)에 대한 리그레서와 클래시파이어, 그리고 선형과 DNN의 결합, 더해서 개발자가 자체 에스티메이터를 구축할 수 있는 기본 클래스를 제공한다. 추가로, 데이터셋 API는 개발자가 간단하고 재사용할 수 있는 조각들을 사용해서 복잡한 입력 파이프라인을 구축할 수 있게 해준다. 한 가지만 선택할 필요는 없다. 텐서플로우-케라스 튜토리얼에 나와있듯, tf.keras, tf.dataset, 그리고 tf.estimator를 유용하게 함께 동작시킬 수 있다.

텐서플로우 라이트
현재 개발자 프리뷰 단계인 텐서플로우 라이트(TensorFlow Lite)는 텐서플로우의 모바일과 임베디드 디바이스용 경량급 솔루션으로, 낮은 지연시간과 작은 바이너리 크기로 디바이스 상에서의 머신러닝 추론(학습은 아님)을 가능케 해준다. 텐서플로우 라이트는 안드로이드 신경망 API를 사용해서 하드웨어 가속화도 지원한다. 텐서플로우 라이트 모델은 모바일 기기 상에서 실행할 수 있을 정도로 작으며, 오프라인 용도로 사용할 수 있다.

텐서플로우 라이트는 안드로이드와 iOS, 심지어는 오프라인 디바이스에서도 충분히 작은 신경망 모델을 실행할 수 있게 해준다. 라이브러리는 아직 개발자 프리뷰 단계에 있으며 이전 또는 향우 버전과의 호환성에 대한 어떤 보장도 하지 않는다.

텐서플로우 라이트의 기본적인 개념은 완전한 텐서플로우 모델을 학습시킨 다음에 그것을 텐서플로우 라이트 모델 포맷으로 전환시킨다는 것이다. 그렇게 하면, 전환된 파일을 안드로이드나 iOS 상의 모바일 애플리케이션에서 사용할 수 있다.

아니면, 이미지 분류나 스마트 리플라이(Smart Reply)용으로 사전 학습된 텐서플로우 라이트 모델 중 한 가지를 사용할 수 있다. 스마트 리플라이는 응답 옵션으로 제시될 수 있는 문맥상 관련 있는 메시지이다. 이는 기본적으로 구글의 지메일 클라이언트에서 볼 수 있는 것과 같은 응답 예측 기능을 제공한다.

또 다른 옵션은 새로 태그된 데이터셋에 대해 기존 모델을 재학습시키는 것으로, 이 기법은 학습 시간을 크게 줄여준다. 이 프로세스에 대한 실습 튜토리얼을 “TensorFlow for Poets”라 부른다.

텐서플로우 서빙(Serving)
텐서플로우 서빙은 프로덕션 환경용으로 설계된, 머신러닝 모델을 위한 유연하고 고성능의 서빙 시스템이다. 하나의 모델만 서빙하기 위한 것은 아니다. 여러 가지 버전이 있는 여러 개의 서버블(Servable)을 가질 수 있으며, 클라이언트는 최신 버전이나 특정 모델을 위한 특정 버전 ID 중 하나를 요청할 수 있어서, 새로운 알고리즘과 실험을 쉽게 시도해 볼 수 있다.

복합 모델을 여러 개의 독립적인 서버블이나 하나의 복합 서버블로 표현할 수 있다. 서버블에 대한 액세스는 소스(Source)에 의해 통제되며, 소스는 임의의 스토리지 시스템에서 서버블을 찾아낼 수 있다.

텐서플로우 이거(Eager)
이거 실행(Eager Execution, 긴급 실행, 투기 실행)은 텐서플로우에 대한 실험적 인터페이스로 NumPy와 유사한 명령형 프로그래밍 스타일을 제공한다. 이거 실행을 활성화하면, 텐서플로우 작업들이 즉시 실행된다. Session.run()을 사용해서 사전 구성된 그래프(graph)를 실행하지 말기 바란다.

향후 버전과의 호환성에 대한 보장이 없는 프리뷰/프리 알파 버전이기는 하지만, 이 인터페이스는 텐서플로우 매트릭스 작업과 모델에 대한 코드를 간소화하는 또 다른 유용한 방법이다. 이거 실행은 세션을 실행하는 것에 비해 텐서플로우 코드 디버깅을 더 쉽게 만들어 주기도 한다.

이거 실행은 NumPy 배열, GPU 가속화, 자동 미분, 그리고 tf.layers 모듈에서 케스라 스타일 레이어 클래스 사용과 호환된다. 텐서보드에서 사용하기 위해 요약(Summary)들을 내보낼 수도 있지만, 공여된 새로운 버전의 summary 클래스를 사용해야 한다. 이거 실행 문서는 “분산 학습과 다중 GPU 학습 그리고 CPU 성능을 원활하게 지원한다는 측면에서 아직 해야 할 작업이 남아있다”고 경고하고 있다.

텐서플로우 대 경쟁 프레임워크
전반적으로, 텐서플로우는 머신러닝과 딥 러닝 프레임워크의 첨병으로 남아 있다. 텐서플로우는 주로 성능, 배포, 학습 용이성, 프로그래밍 용이성, 그리고 파이썬 공용 라이브러리 및 유틸리티와의 호환성 영역에서 업그레이드되었다.

이런 업그레이드가 이루어지는 동안, 경쟁 딥 러닝 프레임워크들도 더 나아졌다. 이미 성능이 좋고 확장성이 좋았던 MXNet은 아파치 재단으로 이관되었으며, 기능과 성능 면에서 개선이 이루어졌다. 마이크로소프트 CNTK는 케라스와 텐서보드에 대한 지원을 포함해서 여러 방면에서 발전했다. 페이스북의 카페2(Caffe2)는 카페를 전면 재작성한 것으로, 이미지 처리 컨볼루션 네트워크(convolution Network)의 강점에 재귀적 LSTM(Long Short Term Memory) 네트워크를 추가했다.

오픈소스 H2O.ai 예측 엔진은 탁월한 자사 고유의 초파라메터 튜닝(Hyperparameter Tuning) 및 기능 엔지니어링 계층인 Driverless AI를 사용해서 개선되했다. Scilit-learn은 ML은 지원하지만 딥 러닝 신경망은 지원하지 않는다는 자체적인 제약 하에서 여전히 사용할만하다. 그리고 스파크 MLlib는 이미 스파크를 사용하고 있고 딥 러닝 신경망을 학습시킬 필요가 없는 개발자들에게 탁월한 옵션이다.

기술적으로 텐서플로우 프로그래밍을 감당할 수 있다면, 텐서플로우는 딥 러닝 모델 구축, 학습, 그리고 프로덕션을 위한 탁월한 선택이다. 텐서플로우를 처음 접한다면, tf.keras, tf.data.dataset, 그리고 tf.estimator에 있는 고급 API로 시작해보라. 저급 API가 필요할 때쯤이면, 그런 API를 사용하기에 충분할 정도로 플랫폼에 익숙해져 있을 것이다.  editor@itworld.co.kr