데이터옵스에 관찰가능성이 꼭 필요한 이유

오전 8시, 대표가 재무 실적이 적힌 대시보드를 보면서 결과가 정확한지를 묻는다. 몇 시간 뒤 고객이 회사 포털 사이트에 로그인해서 주문서에 최신 가격 정보가 표시되지 않는 이유를 궁금해한다. 오후에는 디지털 마케팅 책임자가 SaaS 도구의 피드가 고객 데이터 플랫폼에 반영되지 않는다며 짜증을 낸다. 데이터 과학자 역시 최신 데이터 집합이 로드되지 않아 머신러닝 모델을 재학습시킬 수 없다며 화를 낸다.

모두 데이터옵스 문제, 그것도 중요한 문제다. 비즈니스 부서는 데이터 시각화, 분석 플랫폼, 고객 포털, 데이터 카탈로그, 머신러닝 모델, 그리고 데이터가 소비되는 모든 곳에 정확한 데이터가 적시에 전달되기를 당연히 기대한다.
 

데이터 관리나 데이터옵스 팀은 데이터 호수와 데이터 웨어하우스를 만들고 지원하는 데 상당한 노력을 기울인다. 실시간 데이터 스트림, 데이터 통합 플랫폼 또는 API 통합을 제공하는 것이 이상적인 환경이겠지만, 여전히 많은 조직이 데이터 부채에 해당하는 데이터 처리 스크립트와 수동 워크플로우를 사용한다. 불행히도 데이터 파이프라인의 견고성에 대한 고민은 종종 후순위로 밀리고, 데이터옵스 팀도 데이터 통합의 소스, 파이프라인 및 품질 문제가 발생한 후에야 대응하는 경우가 많다.

필자는 디지털 트레일블레이저(Digital Trailblazer)라는 책에서 데이터 통합 툴이 별로 없어 데이터 품질 문제를 수동으로 해결하는 것이 일상이었던 시대에 대해 이렇게 썼다. “얼마나 많은 스크립트가 데이지 체인으로 연결돼 있든 관계없이 모든 데이터 처리 앱과 모든 프로세스에는 로그가 있었다. 그래서 실패한 프로세스의 근본 원인을 찾을 때 로그를 뒤적거리다가 sed, awk, grep, find와 같은 유닉스 툴의 전문가가 됐다.”
 
지금은 데이터 파이프라인에 관찰가능성(observability)을 구현해 넣는 용도로 유닉스 명령에 비해 훨씬 더 강력한 툴이 있다. 데이터옵스 팀의 책임은 데이터 소스를 연결하고 변환하는 데 그치지 않는다. 데이터 통합을 안정적으로 수행하고 데이터 품질 문제를 효율적으로 해결하는 것도 이들의 책임이다.
 

데이터 신뢰성 확보에 유용한 데이터옵스 관찰가능성

관찰가능성은 데브옵스 팀이 고객 여정, 애플리케이션, 마이크로서비스, 데이터베이스 기능을 추적하기 위해 도입한 방식이다. 실무적으로는 애플리케이션 로그 파일을 중앙화하고, 애플리케이션 성능을 모니터링하고, AI 옵스 플랫폼을 사용해서 여러 경고의 상관관계를 분석해 관리 가능한 인시던트로 분류하는 것 등이 포함된다. 목표는 시야를 확보하고 더욱 빠르게 사고를 해결하고, 근본 원인 분석을 수행하고 성능 추세를 파악하며 보안 포렌식을 구현해 프로덕션 결함을 해결하는 것이다.
 
데이터옵스 관찰가능성의 목표도 비슷하다. 단지 데이터옵스 관찰가능성 툴은 데이터 파이프라인을 분석하고 안정적인 데이터 제공을 보장하고 데이터 품질 문제를 해결하는 데 도움을 준다는 차이가 있을 뿐이다.
 
몬테 카를로(Monte Carlo)의 공동 창업자인 리오르 가비시는 “데이터 관찰가능성은 데이터 웨어하우스 또는 데이터 호수 수집부터 시작해 대다수 데이터 품질 문제가 이해관계자에게 드러나는 비즈니스 인텔리전스 계층에 이르기까지, 데이터옵스 수명 주기의 각 단계에서 데이터의 상태를 이해하는 조직의 역량을 나타낸다”라고 말했다.
 
어센드.io(Ascend.io)의 CEO 숀 냅은 데이터옵스 문제에 대해 “관찰가능성은 파이프라인의 실시간 운영 상태, 데이터 형태 추세와 같은 핵심 요소를 식별하는 데 도움이 된다”면서 “합의된 서비스 수준 내에서 원활한 데이터 제공을 보장하려면 조기에 지연과 오류를 파악해야 한다. 기업은 파이프라인 코드 중단과 데이터 품질 문제를 충분히 파악하고 신속하게 해결해서 문제가 하향 소비자에 전파되지 않도록 해야 한다”라고 말했다.
 
냅은 비즈니스 담당자를 데이터옵스 파이프라인의 주요 고객으로 강조한다. 많은 기업이 데이터 기반 조직을 추구하는 만큼 데이터 파이프라인이 안정적이지 않거나 신뢰성이 떨어지면 리더와 직원, 고객이 영향을 받게 된다. 데이터옵스 관찰가능성을 위한 툴은 조직에 중요하고 특히 시민 데이터 과학자가 일상 업무에서 데이터 시각화 및 데이터 준비 툴을 사용하는 경우 더욱 중요하다.
 
코랄로직스(Coralogix)의 개발자 지지자인 크리스 쿠니는 “관찰가능성은 대시보드에 그래프 몇 개를 그리는 것이 전부가 아니다. 전체 스택을 포괄하는 엔지니어링이며 팀이 더 나은 의사 결정을 내릴 수 있게 해준다”라고 말했다.
 

데이터옵스와 데브옵스의 관찰가능성

데브옵스 팀은 일반적으로 인프라, 네트워크, 애플리케이션, 서비스, 데이터베이스를 포괄할 때 여러 모니터링 툴을 사용한다. 데이터옵스도 마찬가지다. 동기는 같은데 툴이 다를 뿐이다. 칼립티아(Calyptia) 창업자이며 CEO인 에두아르도 실바는 “데이터를 활용하는 데 도움이 되는 시스템이 있어야 하는데 모든 조건을 충족하는 한 가지 툴은 없다. 따라서 파이프라인이 폭넓은 목적지로 데이터를 나를 수 있도록 해야 한다”라고 말했다.
 
실바가 추천하는 것은 업체 중립적 오픈소스 솔루션이다. 특히 대다수 조직이 여러 개의 데이터 호수와 데이터베이스, 데이터 통합 플랫폼을 활용한다는 점을 감안하면 이 방법을 고려할 만한 가치가 있다. 이러한 데이터 플랫폼에 내장된 데이터옵스 관찰가능성 기능은 구성하고 배포하기는 쉬울지 몰라도, 여러 플랫폼에 걸쳐 작동하는 전체적인 데이터 관찰가능성 기능은 제공하지 않을 수 있다.
 
어떤 기능이 필요할까? 액셀데이터.io(Acceldata.io)의 CTO 애쉬윈 라지브는 “엔터프라이즈 데이터 관찰가능성은 신뢰할 수 있는 데이터 파이프라인의 구축 및 운영을 위해 병목 현상을 해결할 수 있어야 한다”라고 말했다.
 
라지브는 “데이터는 적절한 도구를 API 및 SDK와 함께 사용해서 매번, 적시에, 효율적으로 제공되어야 한다. 툴은 비교가 가능하도록 적절한 탐색 및 드릴다운 기능이 있어야 한다. 데이터옵스 팀이 사고를 예측하고 방지할 수 있도록 병목 현상과 추세를 신속하게 파악해서 더 빠르게 문제를 해결하고 성능 튜닝을 하는 데 도움이 되어야 한다”라고 설명했다.
 

로우 코드 기능이 있는 데이터옵스 툴

데이터옵스 관찰가능성의 한 가지 측면은 운영, 즉 소스에서 데이터 관리 플랫폼을 거쳐 소비에 이르기까지의 신뢰성과 적시 전달이다. 두 번째 고려 사항은 데이터 품질이다. 콜레스(Coalesce)의 공동 창업자이며 CEO인 아몬 페트로시안은 “데이터옵스의 관찰가능성을 위해서는 조직이 진정으로 데이터 기반의 비즈니스 및 기술 의사 결정을 내릴 수 있도록 비즈니스 및 엔지니어링 팀이 적절히 정제, 관리, 변환된 데이터에 액세스할 수 있어야 한다. 현재 데이터 애플리케이션의 발전을 감안하면 데이터 파이프라인을 가장 잘 준비하기 위해 조직이 할 일은 코드 우선 접근 방식의 유연함을 제공하면서 GUI 기반으로 엔터프라이즈급 규모를 가능하게 해주는 툴에 집중하는 것이다. 모두가 소프트웨어 엔지니어는 아니기 때문”이라고 말했다.
 
따라서 데이터옵스, 그리고 데이터 관찰가능성은 API를 소비하고 견고한 실시간 데이터 파이프라인을 개발하는 코더 관점에서 매력적인 부분이 있어야 한다. 또한 코더가 아닌 사람도 데이터 준비 및 시각화 작업을 위해 데이터 품질과 문제 해결 툴이 필요하다.
 
가비시는 “데브옵스는 로우코드 자동화 우선 툴에 폭넓게 의존한다. 데이터옵스도 마찬가지”라며 “데이터옵스 수명 주기의 핵심 구성요소인 데이터 관찰가능성 솔루션은 여러 데이터 환경에 걸쳐 구현하고 배포하기가 쉬워야 한다”라고 말했다.
 

분산된 데이터 파이프라인 모니터링

안정적인 데이터 파이프라인과 애플리케이션을 대기업에서 구현하는 것은 결코 쉽지 않다. 엠퍼시스(Mphasis)의 CHRO 스라칸스 카라는 “관찰가능성 플랫폼의 도움을 받더라도 대형 엔터프라이즈 내 팀은 많은 사고를 사전에 방지하는 데 어려움을 겪는다. 여러 클라우드와 레거시 환경을 관통해 흐르는 트랜잭션에 대한 충분한 통찰력을 데이터가 제공하지 않는다는 것이 가장 큰 문제”라고 말했다.
 
테라데이터(Teradata)의 최고 제품 책임자 힐러리 애쉬튼 역시 “현대 데이터 생태계는 태생적으로 분산돼 있고 이로 인해 데이터의 전체 수명 주기에 걸쳐 데이터 상태를 관리하기가 어렵다”라고 말했다. 애쉬튼은 “핵심은 데이터를 신뢰할 수 없다면 데이터 기반 조직이 될 수 없을 것”이라고 말했다.
 
애쉬튼은 “신뢰도 높은 데이터 파이프라인을 위해 기업은 텔레메트리 데이터를 통해 운영, 기술, 비즈니스 메타데이터를 통합하는 360도 시야가 필요하다. 이렇게 바라보면 데이터 신선도, 누락된 레코드, 스키마 변경, 알 수 없는 오류와 같은 문제를 식별하고 교정할 수 있다. 이 프로세스에 머신러닝을 내장하는 것도 작업을 자동화할 수 있다”라고 권장했다.
 
데이터 통합 문제를 해결하기 위해 유닉스 명령을 사용해 로그 파일을 뒤적거리던 시대를 생각하면 지금의 기술은 비약적으로 발전한 수준이다. 오늘날의 데이터 관찰가능성 툴은 훨씬 더 정교하지만 비즈니스에 신뢰할 수 있는 데이터 파이프라인과 고품질의 데이터 처리를 제공하는 부분에서는 여전히 어려움을 겪는 기업이 많다. 과제를 받아들이고 비즈니스 리더와 파트너가 되어 민첩하고 증분적 구현을 추구해야 한다. 신뢰할 수 없는 데이터를 기반으로 구축한 데이터 시각화와 머신러닝 모델은 잘못된 것일 뿐 아니라,  기업에 해로운 의사 결정으로까지 이어질 수 있기 때문이다.
editor@itworld.co.kr