클라우드

글로벌 칼럼 | 분산 데이터는 얼마나 현실적인가

David Linthicum | InfoWorld 2022.04.04
분산 데이터(Distributed Data)라는 아이디어는 현실 세계보다는 기술 백서와 박사 논문 주제로 이용된 오래된 개념이다. 필자는 1980년대 후반 데이터베이스 설계 강의에서 분산 데이터에 관해 이야기했던 기억이 난다. 당시에도 ‘내년’이면 분산 데이터가 실현되리라 생각했다. 하지만 그런 일은 일어나지 않았다.
 
ⓒ Getty Images Bank

분산 데이터 개념은 그 후로도 꾸준히 거론됐다. 분산 데이터는 데이터를 어디에 저장하는지와 관계없이 공통의 서비스 세트와 데이터 관리 제어 플레인을 사용하면 모든 데이터를 다룰 수 있고, 물리적인 위치와 관계없이 논리적인 데이터 그룹으로 묶을 수 있다는 개념이다. 이런 데이터는 언제든지 누구라도 이용할 수 있다. 분산 데이터는 데이터 페더레이션(Data Federation, 여러 데이터베이스가 하나로 기능하도록 하는 소프트웨어 프로세스)과 데이터 민주화(Data Democratization, 조직 구성원 모두가 기술 지식과 관계없이 데이터를 편안하게 활용할 수 있도록 하는 지속적인 프로세스)를 구현하며, 클라우드, 엣지, 디바이스, 레거시 시스템에 걸쳐 어떻게 이런 마법이 일어나는지에 대해 완벽한 투명성을 제공한다.

시간을 2022년을 빨리 돌려보자. 40년 전과 똑같은 개념에 대한 논의가 이뤄지고 있다. 차이점이라면, 이제는 이런 역량을 합리적인 비용으로 끌어낼 수 있다는 것이다. 또한 클라우드 네이티브처럼 떠오르는 개념도 있는데, 이 기술은 프라이빗 클라우드와 퍼블릭 클라우드를 기반으로 하는 공통 스택으로 정의할 수 있다. 하지만 기반 클라우드는 보통 서비스나 데이터를 애플리케이션이나 분석 툴에 직접 제공하지는 않는다.

분산 데이터의 현실화를 주도하는 몇 가지를 살펴보자.

첫째, 마침내 제대로 동작하는 안정적인 글로벌 네트워크가 있다. 5G 배치가 완료되면 더욱 완벽해질 것이다.

둘째, 데이터를 데이터센터나 클라우드 서비스 업체의 바깥에 있는 엣지 시스템에 두고자 한다. 즉 데이터를 저장하고 처리하는 디바이스나 서버를 가리지 않는다.

마지막으로, 데이터 스토리지가 민주화되었다. 이제는 데이터 관리와 제어가 데이터 관리자 한 사람의 영역이 아니다. 특정 데이터 세트를 보유한 일군의 사람이 있고 데이터는 넓게 분산되어 있으며, 이들 데이터는 단일 데이터 세트 또는 페더레이션된 데이터 세트의 그룹으로 이용할 수 있다. 성능이나 기능의 제약도 없다.

물론, 분산 데이터를 실현하기 위해서는 많은 상호 조율이 필요하다. 가장 큰 문제는 데이터를 지속적으로 추적할 수 있고 거버넌스와 보안도 다룰 수 있는 기능적인 관리 제어 플레인을 갖추는 것이다. 엣지 디바이스에 있는 데이터 요소의 의미를 변경하는 것 같은 단순한 작업도 제대로 관리하지 못하면 수백 가지 애플리케이션과 내장 분석 프로세스가 붕괴될 수 있다. 또한 디바이스나 서버의 연결이 오랜 시간 끊어진다면, 문제의 오프라인 데이터는 통신이 복구될 때까지 애플리케이션이나 분석에 사용할 수 없다.

정말로 생각해야 할 것이 많다. 단지 데이터를 어디에나 저장할 수 있고, 중앙에 있는 것처럼 이용할 수 있다고 해서 꼭 그렇게 할 필요는 없다. 네트워크 장애나 관리 제어 플레인의 오류 등 시스템의 다운타임을 가져올 수 있는 함정이 많기 때문이다. 정확한 계산은 아니지만, 전통적인 접근법과 데이터 중앙화보다 장기적인 배치와 운영에 드는 비용도 더 많이 들 것으로 보인다.

이처럼 위험 요소가 많지만, 분산 데이터는 여전히 고려할 만한 가치가 있다. 실제로 기업이 혁신과 성장에 이용할 수 있는 실용적인 응용 분야가 너무나 많다. 예를 들어, 데이터에 대한 제어권을 고객 시스템으로 더 많이 할당해 고객 경험을 개선할 수 있다. 

2022년, 분산 데이터, 또는 “데이터 애니웨어(Data Anywhere)”가 어떻게 발전하는지 지켜보자, 언제나 그렇듯이 새로 도입한 기술 때문에 곤경에 빠지지 않기 위해서는 실용적인 사용례를 찾아야 할 것이다.
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.