2019.05.08

"파이썬 성능 향상을 위한" 파이파이란 무엇인가

Serdar Yegulalp | InfoWorld
파이썬(Python)은 강력하고 유연하며 사용하기 쉬운 언어로 유명하다. 이런 장점 덕분에 다양한 애플리케이션, 워크플로우, 현업에서 사용되고 있으며 지금도 계속 사용 범위를 넓히는 중이다. 그러나 파이썬은 설계 자체의 특성(인터프리트 방식, 런타임 역동성)으로 인해 C나 C++와 같은 머신 네이티브 언어에 비해 속도가 훨씬 느릴 수밖에 없다.
 
ⓒ Getty Images Bank 

오래 전부터 개발자들은 파이썬의 속도 제약을 극복하기 위한 다양한 우회로를 고안해왔다. 예를 들어 성능이 중요한 작업을 C로 쓴 다음 파이썬으로 래핑하는 방법이 있다. 많은 머신러닝 라이브러리에서 이 방법을 사용한다. 파이썬 코드에 런타임 형식 정보를 가미해 C로 컴파일 가능하도록 하는 프로젝트인 사이썬(Cython)을 사용하는 방법도 있다.

그러나 이 방법은 어디까지나 우회일 뿐이다. 기존 파이썬 프로그램을 그대로 가져와서 훨씬 더 빠르게 실행할 수 있다면 좋지 않을까? 이제 파이파이(PyPy)를 사용하면 가능하다.


파이파이 대 C파이썬

파이파이는 기본 파이썬 인터프리터인 C파이썬(CPython)을 대체한다. C파이썬은 파이썬을 중간 바이트코드로 컴파일하고 이 바이트코드가 가상 머신에 의해 인터프리트되는 방식인 반면, 파이파이는 JIT(Just-In-Time) 컴파일을 사용해 파이썬 코드를 머신 네이티브 어셈블리 언어로 변환한다.

수행하는 작업에 따라 상당 수준의 성능 향상이 가능하다. 평균적으로 파이파이는 파이썬의 속도를 약 7.6배 높여주며 작업에 따라서는 50배 이상 가속되기도 한다. C파이썬 인터프리터는 파이파이와 같은 형태의 최적화를 수행하지 않으며 아마 앞으로도 마찬가지일 것이다. 설계 목표 자체가 다르기 때문이다.

파이파이의 가장 좋은 점은 파이파이를 통한 성능 효과를 얻기 위해 개발자가 해야 할 일이 거의 없다는 것이다. C파이썬을 파이파이로 대체하는 것으로 대부분의 작업이 끝난다. 다음과 같은 몇 가지 예외가 있긴 하지만 파이파이의 목표는 기존의 수정되지 않은 파이썬 코드를 실행해 자동적인 속도 향상을 제공하는 것이다.

파이파이는 현재 각기 다른 프로젝트인 파이썬 2와 파이썬 3을 모두 지원한다. 즉, 실행하고자 하는 파이썬 버전에 따라 다른 버전의 파이파이를 다운로드해야 한다. 파이파이의 파이썬 2가 훨씬 더 오래 전부터 개발됐지만 파이썬 3 버전도 최근 거의 다 따라잡았다. 현재 파이썬 3.5(프로덕션 버전)와 파이썬 3.6(베타 버전)을 모두 지원한다.

파이파이는 모든 핵심 파이썬 언어를 지원하며 그 외에 패키징을 위한 pip, 가상 환경을 위한 virtualenv 등 파이썬 생태계의 대다수 툴과 호환된다. C 모듈이 있는 경우를 포함한 대부분의 파이썬 패키지는 아무런 변경 없이 그대로 사용 가능하지만 몇 가지 한계가 있다. 


파이파이의 작동 방식

파이파이의 최적화 방법은 동적 언어를 위한 다른 JIT 컴파일러에 사용되는 방법과 같다. 실행 중인 파이썬 프로그램을 분석해 프로그램에서 생성되고 사용되는 개체의 형식 정보를 확인한 다음 이 형식 정보를 가이드 삼아 속도를 높인다. 예를 들어 파이썬 함수가 한두 개의 개체 유형만 다루는 경우 파이파이는 해당 사례만 처리하는 머신 코드를 생성한다.

파이파이의 최적화는 런타임에 자동으로 처리되므로 일반적으로는 성능 조정이 필요 없다. 고급 사용자라면 파이파이의 명령줄 옵션으로 실험하면서 특수 사례를 위한 더 빠른 코드를 생성할 수 있지만 그 정도까지 필요한 경우는 드물다.

일부 내부 함수를 처리하는 방식도 C파이썬과 다르지만 호환성을 유지하는 방향으로 동작한다. 예를 들어 파이파이는 가비지 수집을 C파이썬과 다른 방식으로 처리한다. 모든 개체가 범위를 벗어나는 즉시 수집되지는 않으므로 파이파이로 실행되는 파이썬 프로그램은 C파이썬을 사용해 실행하는 경우에 비해 메모리 사용량이 높게 나타날 수 있다. gc.enable(), gc.disable(), 그리고 gc.collect()와 같은 gc 모듈을 통해 노출되는 파이썬의 고수준 가비지 수집 컨트롤도 여전히 사용할 수 있다.

파이파이의 런타임 JIT 동작에 대한 정보가 필요하다면 파이파이에 포함된 pypyjit 모듈을 사용하면 된다. 이 모듈은 파이썬 애플리케이션에 대한 많은 JIT 후크를 노출한다. JIT에서 성능이 떨어지는 것으로 판단되는 함수 또는 모듈이 있는 경우 pypyjit을 통해 세부적인 통계를 얻을 수 있다.

또 다른 파이파이 전용 모듈인 __pypy__는 파이파이 전용의 다른 기능을 노출하므로 해당 기능을 활용하는 앱을 작성할 때 유용하다. 파이썬의 런타임 역동성 덕분에 파이파이가 있는 경우 이런 기능을 사용하고, 없는 경우에는 무시하는 파이썬 앱을 만들 수 있다.


파이파이의 한계

파이파이는 만능인 것 같지만 그렇지는 않다. 파이파이에는 특정 종류의 프로그램에서 그 효과가 반감되거나 아예 없는 한계가 존재하기 때문이다. 따라서 아쉽게도 기본 C파이썬 런타임의 완전한 범용 대체재는 되지 못한다.


파이파이는 순수 파이썬 앱에서 가장 효과적

파이파이는 항상 "순수" 파이썬 애플리케이션, 즉 오로지 파이썬만으로 작성된 애플리케이션에서 가장 뛰어난 성능을 발휘한다. 파이파이가 C파이썬의 네이티브 바이너리 인터페이스를 에뮬레이션하는 방식으로 인해 넘파이(NumPy)와 같은 C 라이브러리와 접속하는 파이썬 패키지는 성능이 떨어진다.

파이파이 개발자들은 이 문제를 조금씩 수정했고, C 확장에 의존하는 대부분의 파이썬 패키지와의 호환성을 더 높였다. 예를 들어 넘파이는 이제 파이파이와 원활하게 호환된다. 그러나 C 확장에 대한 최대한의 호환성을 원한다면 C파이썬을 사용해야 한다.


파이파이, 실행 시간이 긴 프로그램에 가장 효과적

파이파이가 파이썬 프로그램을 최적화하는 방법에 따른 부수적 효과 가운데 하나는 실행 시간이 긴 프로그램에서 최적화 효과가 크다는 점이다. 프로그램 실행 시간이 길수록 파이파이가 수집할 수 있는 런타임 형식 정보가 많아지고 그만큼 더 최적화할 수 있다. 따라서 수명이 짧은 파이썬 스크립트의 경우 얻을 것이 없다. 혜택을 얻는 애플리케이션은 일반적으로 장시간 동안 실행되는 루프가 있거나 웹 프레임워크와 같이 백그라운드에서 지속적으로 실행되는 애플리케이션이다.


파이파이, 예상보다 빠르게 컴파일하지 않는다

파이파이는 파이썬 코드를 컴파일하지만 파이썬 코드용 컴파일러는 아니다. 파이파이의 최적화 수행 방식과 파이썬의 동적 특성으로 인해 결과물인 JIT 코드를 독립적인 바이너리로 배출해 재사용할 방법이 없다. 각 프로그램은 매 실행 시마다 컴파일되어야 한다. 파이썬을 독립 앱으로 실행 가능한 더 빠른 코드로 컴파일하려면 사이썬, 넘바(Numba)를 사용하거나 현재 실험 단계인 누키타(Nukita) 프로젝트를 사용해야 한다. editor@itworld.co.kr 


2019.05.08

"파이썬 성능 향상을 위한" 파이파이란 무엇인가

Serdar Yegulalp | InfoWorld
파이썬(Python)은 강력하고 유연하며 사용하기 쉬운 언어로 유명하다. 이런 장점 덕분에 다양한 애플리케이션, 워크플로우, 현업에서 사용되고 있으며 지금도 계속 사용 범위를 넓히는 중이다. 그러나 파이썬은 설계 자체의 특성(인터프리트 방식, 런타임 역동성)으로 인해 C나 C++와 같은 머신 네이티브 언어에 비해 속도가 훨씬 느릴 수밖에 없다.
 
ⓒ Getty Images Bank 

오래 전부터 개발자들은 파이썬의 속도 제약을 극복하기 위한 다양한 우회로를 고안해왔다. 예를 들어 성능이 중요한 작업을 C로 쓴 다음 파이썬으로 래핑하는 방법이 있다. 많은 머신러닝 라이브러리에서 이 방법을 사용한다. 파이썬 코드에 런타임 형식 정보를 가미해 C로 컴파일 가능하도록 하는 프로젝트인 사이썬(Cython)을 사용하는 방법도 있다.

그러나 이 방법은 어디까지나 우회일 뿐이다. 기존 파이썬 프로그램을 그대로 가져와서 훨씬 더 빠르게 실행할 수 있다면 좋지 않을까? 이제 파이파이(PyPy)를 사용하면 가능하다.


파이파이 대 C파이썬

파이파이는 기본 파이썬 인터프리터인 C파이썬(CPython)을 대체한다. C파이썬은 파이썬을 중간 바이트코드로 컴파일하고 이 바이트코드가 가상 머신에 의해 인터프리트되는 방식인 반면, 파이파이는 JIT(Just-In-Time) 컴파일을 사용해 파이썬 코드를 머신 네이티브 어셈블리 언어로 변환한다.

수행하는 작업에 따라 상당 수준의 성능 향상이 가능하다. 평균적으로 파이파이는 파이썬의 속도를 약 7.6배 높여주며 작업에 따라서는 50배 이상 가속되기도 한다. C파이썬 인터프리터는 파이파이와 같은 형태의 최적화를 수행하지 않으며 아마 앞으로도 마찬가지일 것이다. 설계 목표 자체가 다르기 때문이다.

파이파이의 가장 좋은 점은 파이파이를 통한 성능 효과를 얻기 위해 개발자가 해야 할 일이 거의 없다는 것이다. C파이썬을 파이파이로 대체하는 것으로 대부분의 작업이 끝난다. 다음과 같은 몇 가지 예외가 있긴 하지만 파이파이의 목표는 기존의 수정되지 않은 파이썬 코드를 실행해 자동적인 속도 향상을 제공하는 것이다.

파이파이는 현재 각기 다른 프로젝트인 파이썬 2와 파이썬 3을 모두 지원한다. 즉, 실행하고자 하는 파이썬 버전에 따라 다른 버전의 파이파이를 다운로드해야 한다. 파이파이의 파이썬 2가 훨씬 더 오래 전부터 개발됐지만 파이썬 3 버전도 최근 거의 다 따라잡았다. 현재 파이썬 3.5(프로덕션 버전)와 파이썬 3.6(베타 버전)을 모두 지원한다.

파이파이는 모든 핵심 파이썬 언어를 지원하며 그 외에 패키징을 위한 pip, 가상 환경을 위한 virtualenv 등 파이썬 생태계의 대다수 툴과 호환된다. C 모듈이 있는 경우를 포함한 대부분의 파이썬 패키지는 아무런 변경 없이 그대로 사용 가능하지만 몇 가지 한계가 있다. 


파이파이의 작동 방식

파이파이의 최적화 방법은 동적 언어를 위한 다른 JIT 컴파일러에 사용되는 방법과 같다. 실행 중인 파이썬 프로그램을 분석해 프로그램에서 생성되고 사용되는 개체의 형식 정보를 확인한 다음 이 형식 정보를 가이드 삼아 속도를 높인다. 예를 들어 파이썬 함수가 한두 개의 개체 유형만 다루는 경우 파이파이는 해당 사례만 처리하는 머신 코드를 생성한다.

파이파이의 최적화는 런타임에 자동으로 처리되므로 일반적으로는 성능 조정이 필요 없다. 고급 사용자라면 파이파이의 명령줄 옵션으로 실험하면서 특수 사례를 위한 더 빠른 코드를 생성할 수 있지만 그 정도까지 필요한 경우는 드물다.

일부 내부 함수를 처리하는 방식도 C파이썬과 다르지만 호환성을 유지하는 방향으로 동작한다. 예를 들어 파이파이는 가비지 수집을 C파이썬과 다른 방식으로 처리한다. 모든 개체가 범위를 벗어나는 즉시 수집되지는 않으므로 파이파이로 실행되는 파이썬 프로그램은 C파이썬을 사용해 실행하는 경우에 비해 메모리 사용량이 높게 나타날 수 있다. gc.enable(), gc.disable(), 그리고 gc.collect()와 같은 gc 모듈을 통해 노출되는 파이썬의 고수준 가비지 수집 컨트롤도 여전히 사용할 수 있다.

파이파이의 런타임 JIT 동작에 대한 정보가 필요하다면 파이파이에 포함된 pypyjit 모듈을 사용하면 된다. 이 모듈은 파이썬 애플리케이션에 대한 많은 JIT 후크를 노출한다. JIT에서 성능이 떨어지는 것으로 판단되는 함수 또는 모듈이 있는 경우 pypyjit을 통해 세부적인 통계를 얻을 수 있다.

또 다른 파이파이 전용 모듈인 __pypy__는 파이파이 전용의 다른 기능을 노출하므로 해당 기능을 활용하는 앱을 작성할 때 유용하다. 파이썬의 런타임 역동성 덕분에 파이파이가 있는 경우 이런 기능을 사용하고, 없는 경우에는 무시하는 파이썬 앱을 만들 수 있다.


파이파이의 한계

파이파이는 만능인 것 같지만 그렇지는 않다. 파이파이에는 특정 종류의 프로그램에서 그 효과가 반감되거나 아예 없는 한계가 존재하기 때문이다. 따라서 아쉽게도 기본 C파이썬 런타임의 완전한 범용 대체재는 되지 못한다.


파이파이는 순수 파이썬 앱에서 가장 효과적

파이파이는 항상 "순수" 파이썬 애플리케이션, 즉 오로지 파이썬만으로 작성된 애플리케이션에서 가장 뛰어난 성능을 발휘한다. 파이파이가 C파이썬의 네이티브 바이너리 인터페이스를 에뮬레이션하는 방식으로 인해 넘파이(NumPy)와 같은 C 라이브러리와 접속하는 파이썬 패키지는 성능이 떨어진다.

파이파이 개발자들은 이 문제를 조금씩 수정했고, C 확장에 의존하는 대부분의 파이썬 패키지와의 호환성을 더 높였다. 예를 들어 넘파이는 이제 파이파이와 원활하게 호환된다. 그러나 C 확장에 대한 최대한의 호환성을 원한다면 C파이썬을 사용해야 한다.


파이파이, 실행 시간이 긴 프로그램에 가장 효과적

파이파이가 파이썬 프로그램을 최적화하는 방법에 따른 부수적 효과 가운데 하나는 실행 시간이 긴 프로그램에서 최적화 효과가 크다는 점이다. 프로그램 실행 시간이 길수록 파이파이가 수집할 수 있는 런타임 형식 정보가 많아지고 그만큼 더 최적화할 수 있다. 따라서 수명이 짧은 파이썬 스크립트의 경우 얻을 것이 없다. 혜택을 얻는 애플리케이션은 일반적으로 장시간 동안 실행되는 루프가 있거나 웹 프레임워크와 같이 백그라운드에서 지속적으로 실행되는 애플리케이션이다.


파이파이, 예상보다 빠르게 컴파일하지 않는다

파이파이는 파이썬 코드를 컴파일하지만 파이썬 코드용 컴파일러는 아니다. 파이파이의 최적화 수행 방식과 파이썬의 동적 특성으로 인해 결과물인 JIT 코드를 독립적인 바이너리로 배출해 재사용할 방법이 없다. 각 프로그램은 매 실행 시마다 컴파일되어야 한다. 파이썬을 독립 앱으로 실행 가능한 더 빠른 코드로 컴파일하려면 사이썬, 넘바(Numba)를 사용하거나 현재 실험 단계인 누키타(Nukita) 프로젝트를 사용해야 한다. editor@itworld.co.kr 


X