데브섹옵스팀에 카오스 엔지니어링이 꼭 필요한 이유

카오스 엔지니어링 툴

능력 있는 데브섹옵스팀에게 카오스 엔지니어링은 비밀 무기와도 같으며, 개발 주기의 보편적인 요소로 빠르게 발전하고 있다. 엔지니어를 위한 부수적인 프로젝트나 실험으로 시작된 툴이 이제는 많은 CI/CD 파이프라인에서 중요한 요소로 자리 잡는 추세다. 많은 데브섹옵스 전문가가 오픈소스 프로젝트로 만든 카오스 엔지니어링 툴을 공유하고, 이미 상용된 툴도 있다. 몇몇 전문 기업은 빠르게 성장하는 카오스 엔지니어링 시장에 독자적인 툴을 공급한다. 

소프트웨어 스택 내의 더 깊은 부분에서 작동하는 카오스 엔지니어링 툴도 있다. 예컨대 스웨덴 KTH 왕립 공과대학교에서 개발한 카오스머신(ChaosMachine)은 자바 가상 머신에서 실행되는 바이트 코드에 가짜 예외를 주입한다. 가짜 예외는 코드에 포함된 오류 처리 메커니즘에 스트레스를 가한다.

카오스 엔지니어링 툴은 특정 언어나 플랫폼에 초점을 두는 경우가 많다. 파이썬퍼즈(Pythonfuzz)는 무작위 데이터로 함수를 반복 호출하면서 메모리 누설, 교착 또는 기타 장애를 찾는다. 구글의 OSS 퍼즈(OSS-Fuzz)는 여러 언어 및 프로젝트에서 동작한다. 구글은 OSS 퍼즈를 사용해서 크롬 확장프로그램과 같은 자체 생태계에 제출된 오픈소스 기여 코드를 테스트한다.

특정 플랫폼에 초점을 두는 툴을 개척한 대표적인 기업이 넷플릭스다. 넷플릭스는 인프라 테스트를 위한 여러 툴을 만들었는데, 이런 툴은 AWS에 크게 의존한다. 초기에 개발한 툴 카오스 몽키(Chaos Monkey)는 머신 클러스터에 무작위로 접근해 일부를 종료해서 한 인스턴스의 전면적인 장애가 전체 문제로 이어지는지 점검한다. 넷플릭스는 카오스 몽키와 유사한 툴을 여럿 만들어 시미안 아미(Simian Army)로 부른다. 레이턴시 몽키(Latency Monkey), 카오스 고릴라(Chaos Gorilla), 네트워크 속도를 저하시키거나 전체 머신 집단을 멈추게 하는 카오스 콩(Chaos Kong)이 시미안 아미에 포함돼 있다. 

넷플릭스 외에 다른 플랫폼을 위한 툴도 있다. 프루프독(Proofdock)의 애저를 대상으로 하는 카오스 플랫폼을 개발했다. 구글 클라우드 카오스 몽키는 원본 카오스 몽키를 GCP API에서 작동하도록 수정한 버전이다.

일부 카오스 엔지니어링 프로젝트는 다양한 플랫폼에 걸쳐 아이디어와 코드를 공유한다. 리트머스(Litmus)라는 오픈소스 프로젝트는 다양한 클라우드에서 실행되는 소프트웨어를 대상으로 작동하는 카오스익스페리먼트(ChaosExperiments)를 중심으로 한 카오스 엔지니어링 프레임워크다. 카오스익스페리먼트의 카오스 엔진(Chaos Engine)은 실험을 배포하고 그 결과를 추적한다. 

카오스 엔지니어링 툴은 팀 경계를 넘나들면서 초기 단계에서 코드를 테스트하는 개발자와 CI/CD 파이프라인을 관리하고 프로덕션에서 실행되는 소프트웨어를 살펴보는 데브옵스팀을 융합한다. 예컨대 카오스툴킷(ChaosToolkit)은 빌드 파이프라인과 통합돼 새 코드에 적용할 더 복잡하고 혼돈스러운 과제를 추가한다. 또 다양한 드라이버와 플러그인을 활용해 여러 클라우드 및 온프레미스 환경에서 작동한다.

소프트웨어 업체 캐비슨(Cavisson)에서 개발한 넷해복(NetHavoc)은 보안 취약점을 포함한 소프트웨어 장애를 드러낼 수 있는 ‘해복(havoc)’이라는 결함을 주입한다. 패킷을 손상시키고 DNS 결과를 왜곡하는 해복, 애플리케이션에서 사용할 수 있는 메모리나 디스크 공간을 부족하게 만드는 해복 등이 있다.

캐비슨 프로덕트 매니저 리강크 미슈라는 “서버를 하나 없애거나 인스턴스를 종료하고, 메시지 큐의 메시지를 다른 곳으로 옮기고 왜곡할 수 있다. 핵심은 기업이 살펴보고자 하는 사용 사례를 제공하는 것”이라고 설명했다. 

입력이 예상 범위를 벗어날 때 코드 내에서 발생하는 문제를 파악하기 위해 더 깊이 들어가 작동하는 툴도 있다. 예를 들어 크립토퍼즈(Cryptofuzz)는 SSL 연결 암호화에 사용되는 암호화 라이브러리를 대상으로 충돌, 메모리 누설, 버퍼 오버플로우, 초기화되지 않은 변수와 같은 보안 문제를 찾는다.

카오스 엔지니어링의 확장

카오스 엔지니어링 분야는 계속 성장하고 있다. 카오스 엔지니어링과 관련한 상당수의 오픈소스 프로젝트에서 향상된 기능을 가진 새로운 버전을 많이 출시하고 있다. 일부 기업은 개발 툴, 테스트 모음 및 보안 감사에 카오스 생성 옵션을 포함하기 시작했다. 카오스 엔지니어링의 영역이 확장하는 이유는 명확하게 정의되지 않은 분야이기 때문이다. 적절치 않은 시점에 적절치 않은 행동을 수행하기 위한 다양한 기법의 모음에 가깝다. 

카오스 엔지니어링을 표면적으로 살펴보면 이해하기 쉽다. 무언가 망가질 때까지 스위치를 내리고 데이터를 비틀면 된다. 그러나 핵심은 혼란을 일으키고 노이즈를 더할 적절한 지점을 찾는 데 있다. 카오스 엔지니어는 일반적인 엔지니어보다 교활하고 짓궂은 장난꾸러기에 가깝다. 기업은 보통 이런 장난꾸러기를 사무실에서 쫓아내고 무시하겠지만, 약점을 찾아내기 위해서는 개발자가 코드 초안을 처음 작성할 때 당연시한 전제를 의도적으로 약화시키고 뒤집는 카오스 엔지니어의 반사회적 마음가짐을 수용해야 한다. 약간의 나쁜 행동으로 프로덕션에 도달하기 전 프로세스 초기에 코드 결함을 노출할 수 있다면, 모두에게 이익이 된다. 

editor@itworld.co.kr