“더 쉽고 빠른 파이썬” 파이파이(PyPy)의 이해

파이썬은 강력하고 유연하며 다루기 쉬운 언어로 유명하다. 이런 장점 때문에 방대하고 다양한 애플리케이션과 워크플로우, 분야에 사용된다. 그러나 인터프리티드 언어인 데다 런타임의 동적 특성 때문에 파이썬은 C, C++와 같은 머신 네이티브 언어에 비해 속도가 훨씬 더 느리다는 고질적인 단점이 있다. 개발자들은 오랜 시간 동안 파이썬의 속도 제한을 극복하기 위한 다양한 방법을 고민해왔다. 예를 들어 성능 집약적인 작업을 C로 작성하고 이 C 코드를 파이썬으로 래핑하는 방법 같은 것이다. 많은 머신러닝 라이브러리가 실제로 이 방식으로 동작한다. 또는 파이썬 코드에 런타임 형식 정보를 섞어 C로 컴파일할 수 있게 해주는 프로젝트인 사이썬(Cython)을 사용하는 방법도 있다. 
 

그러나 차선책은 이상적인 방법일 수는 없다. 그냥 파이썬 프로그램을 그대로 가져와 훨씬 더 빠르게 실행할 수 있다면 좋지 않을까? 그 대답이 바로 파이파이(PyPy)다. 
 

파이파이 vs. C파이썬 

파이파이는 기본 파이썬 인터프리터인 C파이썬(CPython)을 대체한다. C파이썬은 파이썬을 중간 바이트코드로 컴파일하고 이 바이트코드가 가상머신에 의해 인터프리트되는 방식인 데 반해, 파이파이는 JIT(Just-In-Time) 컴파일을 사용해 파이썬 코드를 머신 네이티브 어셈블리어로 변환한다. 

수행하는 작업에 따라 상당한 정도의 성능 향상이 가능하다. 평균적으로 파이파이는 파이썬 3.7에 비해 파이썬 속도를 약 4.7배 더 높여주며 일부 작업에서는 50배 이상의 속도 향상이 가능하다. 새로운 버전의 C파이썬 인터프리터에도 특정 종류의 JIT 최적화가 추가되고 있지만 현재 파이파이의 범위와 효과에 비할 바는 아니다. 앞으로 대등해질 가능성을 배제할 수 없지만 적어도 지금은 아니다.

가장 좋은 점은 파이파이가 제공하는 효과를 얻기 위해 개발자가 따로 해야 할 일이 거의 없다는 것이다. C파이썬을 파이파이로 바꾸기만 하면 된다. (다음에서 설명할) 몇 가지 예외는 있지만 파이파이의 공식적인 목표는 기존의 파이썬 코드를 수정 없이 실행하면서 자동으로 속도를 높여주는 것이다. 

현재 파이파이는 파이썬 2와 파이썬 3을 각기 다른 프로젝트 구현으로 모두 지원한다. 즉, 실행할 파이썬의 버전에 따라 다른 버전의 파이파이를 다운로드해야 한다. 파이파이의 파이썬 2 브랜치가 나온 시점이 훨씬 더 오래됐지만 파이썬 3 버전도 최근 거의 따라잡았다. 현재 파이썬 버전 3.9까지 지원하며 파이썬 3.10은 실험 수준에서 지원된다. 파이파이는 모든 핵심 파이썬 언어를 지원하는 것 외에, 패키징을 위한 pip, 가상 환경을 위한 virtualenv 등 파이썬 생태계의 방대한 툴과도 호환된다. C 모듈을 사용하는 패키지를 포함해 대부분의 파이썬 패키지는 변경 없이 그대로 동작한다. 물론 일부 제한도 있다. 이는 아래에서 살펴본다.
 

파이파이의 작동 방식 

파이파이는 동적 언어를 위한 다른 JIT 컴파일러에도 있는 최적화 기법을 사용한다. 실행 중인 파이썬 프로그램을 분석하면서 생성 및 사용되는 객체의 형식 정보를 판단한 후 이 형식 정보를 가이드 삼아 속도를 높인다. 예를 들어 파이썬 함수가 한두 개의 객체 형식에서만 작동한다면 파이파이는 이러한 특정 사례를 처리하는 기계 코드를 생성한다. 파이파이의 최적화는 런타임에서 자동으로 처리되므로 일반적으로는 개발자가 직접 성능을 조정할 필요가 없다. 고급 사용자라면 파이파이의 명령줄 옵션을 변경하면서 특수한 사례를 위한 더 빠른 코드를 생성할 수 있지만 그럴 필요까지는 거의 없다. 

또한 파이파이는 몇몇 내부 함수를 처리하는 방식도 C파이썬과 다르지만 동작의 호환성을 유지하려고 노력한다. 예를 들어 파이파이의 가비지 수집 방식은 C파이썬과 달라서 범위에서 벗어나는 모든 객체가 즉각 수집되지는 않으므로 파이파이로 실행되는 파이썬 프로그램은 C파이썬으로 실행되는 경우에 비해 메모리 사용량이 더 높게 표시될 수 있다. 그러나 gc 모듈을 통해 노출되는 gc.enable(), gc.disable(), gc.collect()와 같은 파이썬의 고수준 가비지 수집 컨트롤을 여전히 사용할 수 있다. 

파이파이의 JIT 동작에 대한 정보가 필요하다면 파이파이에 포함된, 파이썬 애플리케이션에 대한 많은 JIT 후크를 노출하는 pypyjit라는 모듈을 활용하면 된다. JIT에서 성능이 떨어지는 함수 또는 모듈이 있는 경우 pypyjit를 사용해 세부적인 통계를 확인할 수 있다. 또 다른 파이파이 전용 모듈인 __pypy__는 파이파이만의 다른 기능을 노출하며 해당 기능을 활용하는 애플리케이션을 작성하는 데 유용하다. 파이썬의 런타임 동적 특성 덕분에 파이파이가 있을 때 이러한 기능을 사용하고, 없을 때는 무시하는 파이썬 애플리케이션을 만드는 것이 가능하다. 
 

파이파이의 제약 

파이파이는 매우 강력하지만 제약도 있다. 파이파이는 기본 C파이썬 런타임에 대한 완전한 범용 대체재는 아니다. 몇 가지 제약으로 인해 특정 종류의 프로그램에서는 파이파이의 효과가 줄어들거나 아예 사라진다. 가장 중요한 제한 사항은 다음과 같다. 

파이파이는 순수 파이썬 앱에서 가장 효과적 : 파이파이는 전통적으로 “순수” 파이썬 애플리케이션, 즉 다른 언어 없이 파이썬만으로 작성된 애플리케이션에서 최고의 효과를 발휘했다. 넘파이(NumPy)와 같이 C 라이브러리와 접촉하는 파이썬 패키지는 파이파이가 C파이썬의 네이티브 바이너리 인터페이스를 에뮬레이션하는 방식상 좋은 결과를 얻지 못했다. 파이파이 개발자들은 그동안 이 문제를 줄여 나가면서 C 확장에 의존하는 대다수 파이썬 패키지와의 호환성을 더 높였다. 예를 들어 넘파이는 지금은 파이파이에서 매우 잘 작동한다. 그러나 최대한의 C 확장 호환성을 원한다면 C파이썬을 사용해야 한다. 

파이파이는 장기간 실행되는 프로그램에서 가장 효과적 : 파이파이가 파이썬 프로그램을 최적화하는 방법의 특성상 장시간 실행되는 프로그램이 최적화 효과를 가장 많이 얻는다. 프로그램 실행 시간이 길수록 파이파이는 런타임 형식 정보를 더 많이 얻을 수 있고 최적화도 더 많이 할 수 있기 때문이다. 단발성 파이썬 스크립트는 이러한 혜택을 얻지 못한다. 이 효과를 얻는 애플리케이션은 일반적으로 오랜 시간 실행되는 루프가 있거나 백그라운드에서 지속적으로 실행되는 웹 프레임워크 같은 애플리케이션이다. 

파이파이는 AOT 컴파일을 하지 못함  : 파이파이는 파이썬 코드를 컴파일하지만 파이썬 코드용 컴파일러는 아니다. 파이파이의 최적화 수행 방법과 파이썬의 태생적인 동적 특성으로 인해 JIT 코드를 독립형 바이너리로 배출해서 재사용할 방법이 없다. 즉, 이 문서에 설명돼 있듯이 각 프로그램이 실행될 때마다 매번 컴파일해야 한다. 파이썬을 독립형 애플리케이션으로 실행할 수 있는 더 빠른 코드로 컴파일하고 싶다면 사이썬, 넘바(Numba), 또는 현재 실험 단계인 누이트카(Nuitka) 프로젝트를 사용해야 한다.
editor@itworld.co.kr