AIㆍML / BI|분석 / 개발자 / 데이터ㆍ분석

“진화하는 데이터를 추적한다” 데이터 계보의 이해와 중요성

Isaac Sacolick | InfoWorld 2021.04.07
  • 한 은행은 100개 애플리케이션에 걸쳐 데이터 계보를 완료함으로써 효율성을 80배 높이고 100만 달러 이상의 비용을 절감했다. 
  • 쇼핑객에게 농장에서 곡물까지의 과정에 대한 투명성을 제공하는 등 데이터 계보는 공급망 관리에서 중요한 역할을 수행한다. 
  • 비영리 기관은 특정 프로그램을 대상으로 한 기부를 추적해서 이 수입이 어떤 영향을 미치는지에 대한 투명성을 제공할 수 있다. 

특히 데이터 소스와 기술, 사용 패턴이 많은 조직에서 성공의 열쇠는 우선 순위를 정하고 합리적인 목표를 정의하는 것이다. 
 

데이터 계보 기능의 예 

데이터 계보에 대해 생각하는 한 가지 방법은 주 데이터 소스의 새로운 데이터와 변경 사항이 다양한 시스템으로 흘러 파생 데이터 요소에 영향을 미치는 과정을 보여주는 흐름도를 통한 방법이다. 예를 들어 고객이 고객 서비스 센터에 전화를 걸어 주소 변경을 요청하면, 데이터 계보는 다른 시스템이 새 주소로 업데이트되는 데이터 흐름을 보여준다. 

더 일반적인 데이터 계보 툴의 용도는 정보의 역방향 흐름을 감사하는 것이다. 예를 들어 판매 전망이 변경되는 경우, 영업 책임자는 새 전망에 기여하는 모든 데이터 요소 변경을 검토할 수 있다. 

데이터 카탈로그 내에서 데이터 계보는 데이터를 만들고 관리하고 분석하는 모든 참가자를 위한 핵심 문서 툴이다. 데이터 계보는 모든 차원 또는 측정의 계산 컨텍스트에 대한 공유된 이해를 구축하는 데 도움이 된다. 데이터 카탈로그를 시작하는 방법 중 하나는 데이터 소스 또는 데이터 프로비넌스를 캡처한 다음 툴을 사용해 데이터 계보를 추적하는 것이다. 
 

멀티클라우드 기업의 과제 

퍼블릭 클라우드의 플랫폼에는 일부 데이터 계보 기능이 내장돼 있다. 예를 들어 애저 퍼뷰 데이터 카탈로그(Azure Purview Data Catalog)는 열 수준 계보를 포함한 소스-타깃 계보를 추적한다. 구글 클라우드 데이터 퓨전(Google Cloud Data Fusion)은 이 데이터 통합 플랫폼에서 실행되는 파이프라인에 대한 데이터 집합 및 필드 수준 변경을 보여준다. 

데이터 계보 구현의 해결 과제는 데이터 계보의 투명성과 진단 기능에서 가장 많은 혜택을 얻을 수 있는 조직은 이질적인 여러 데이터 관리, 처리 및 분석 툴을 사용하는 조직일 가능성이 높다는 데 있다. 

데이터 웨어하우스, 데이터 호수, 데이터 통합 서비스와 분석 플랫폼이 여러 클라우드에서 실행되는 경우 멀티클라우드 데이터 카탈로그 및 계보 기능이 필요하다. 데이터 계보 기능을 내세우는 플랫폼으로는 알렉스 솔루션(Alex Solutions), ASG, 아타카마(Ataccama), 알레이션(Alation), 부미(Boomi), 콜리브라(Collibra), 데이터키친(DataKitchen), 어윈(Erwin), IBM, 인포직스(Infogix), 인포매티카(Informatica), 만타(Manta), 마이크로소프트, 옥토파이(Octopai), 오라클, SAP, SAS, 탈렌드(Talend) 등이 있다. 오픈소스 데이터 계보 솔루션도 있다. 

오픈리니지(OpenLineage)는 여러 플랫폼에 걸친 데이터 계보를 지원하기 위한 표준을 만들고 있다. 데이터 계보와 기타 데이터 거버넌스의 도입을 늘리려면 구현 표준, 상호운용성 프로토콜 및 크로스 플랫폼 통합 기능을 만드는 이니셔티브가 필요하다. 

기업 데이터가 증가하는 속도, 머신러닝 기능에서 얻는 비즈니스 가치, 늘어나는 데이터 규제를 감안하면 앞으로 더 많은 기업이 데이터 거버넌스와 데이터 계보 기능을 구현하기 위한 노력을 강화해야 할 것이다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.