2020.11.25

IDG 블로그 | 온프레미스 데이터 웨어하우스의 종말

David Linthicum | InfoWorld
시장조사 업체 글로벌 마켓 인사이트(Global Market Insights)는 2025년이면 데이터 웨어하우스 워크로드의 대부분을 클라우드 서비스 업체가 호스팅할 것으로 추정한다. 가트너는 현재 데이터 웨어하우스 워크로드의 30%가 클라우드에서 구동되고 있으며, 이 비율이 2024년에는 2/3까지 증가할 것으로 전망했다. 가트너에 따르면, 불과 몇 년 전인 2016년만 해도 이 수치는 7%에 불과했다.
 
ⓒ Getty Images Bank

이런 전망치가 예상 밖의 일은 아니다. 심지어 핵심 데이터 웨어하우스 기술 업체도 이런 경향을 파악하고 자사 연구개발 예산의 대부분을 퍼블릭 클라우드 서비스 업체용 솔루션을 구축하는 데 투여하고 있다. 게다가 퍼블릭 클라우드 서비스 업체도 이들 전문업체를 죽일 수 있는 제품을 자체 보유하고 있다. AWS의 레드시프트가 대표적인 예로, 이 열 기반 데이터베이스(columnar database)는 대형 엔터프라이즈 데이터 웨어하우스 솔루션 업체와 경쟁하기 위해 만든 것이다.

과거 데이터 웨어하우스와 데이터 마트를 퍼블릭 클라우드에 구축하는 데는 장애가 많았다. 우선 퍼블릭 클라우드는 여전히 보안에 문제가 있다는 선입견이 있었다. 또한 페타바이트급 데이터를 온프레미스 시스템에서 클라우드로 옮기는 것도 쉽지 않았다. 경우에 따라서는 이동형 스토리지 시스템을 이용해 물리적으로 옮기기도 했다. 온프레미스 데이터 웨어하우스에서와 같은 분석 툴을 찾지 못하는 경우도 많았다. 많은 기업은 익숙한 분석 툴을 바꾸려 하지 않았다.

지금은 이런 모든 장애물이 사라졌다. 대부분은 데이터 웨어하우스를 구축하고 유지하는 기업이 퍼블릭 클라우드가 대부분 온프레미스 툴보다 한참 앞서 있다는 것을 알기도 전에 없어졌다. 현재 클라우드는 더 나은 보안과 성능, 비용, 분석 툴을 제공한다.

온프레미스 데이터 웨어하우스의 마지막 숨통을 끊는 것은 클라우드 상의 AI와 전통적인 데이터 분석에 AI를 통합하는 역량이다. AI는 이미 신기술도 아니지만, 데이터 인텔리전스를 위해서는 가장 먼저 투자해야 하는 기술이다. 더구나 데이터 웨어하우스가 학습 데이터의 원천이 된다는 점에서 AI는 진정한 ‘게임 체인저’이다. 

온프레미스 데이터 웨어하우스를 클라우드로 이전하게 만드는 또 다른 변화로는 트랜잭션 데이터를 분석용으로 직접 이용해야 할 필요성이 커지고 있다는 것이다. 데이터 웨어하우스는 원래 트랜잭션 데이터의 스냅샷을 찍어서 이를 분석용으로 데이터 창고에 모으는 개념으로 알려져 있다. 이 개념의 문제는 데이터가 몇 주 전의 것이라는 점이다. 현실은 점점 더 많은 경영진이 현업 거래 시스템에서 현재 데이터를 가져와 반영하는 실시간 대시보드를 주문하고 있다.

이를 위해서는 데이터 추상화 계층을 사용해 트랜잭션 데이터를 이용하고, 이를 AI 시스템과 연결해 좀더 매력적인 솔루션으로 만들어야 한다. 당연히 이런 기술은 퍼블릭 클라우드에서 찾을 수 있다. 네이티브 서비스를 이용할 수도 있고, 마켓플레이스나 생태계에서 찾을 수도 있다.

데이터 웨어하우스로 클라우드로 옮기면 많은 이점을 얻을 수 있다. 기업은 마침내 중앙집중적으로 액세스할 수 있는 플랫폼에 데이터를 통합할 수 있다. 데이터는 클라우드에서 조금 더 안전하다. 그리고 데이터를 이용할 때 온프레미스 기술의 한계에 가로막히지 않는다. 이 세 가지가 온프레미스 데이터 웨어하우스의 관에 마지막 못을 박고 있다. editor@itworld.co.kr


2020.11.25

IDG 블로그 | 온프레미스 데이터 웨어하우스의 종말

David Linthicum | InfoWorld
시장조사 업체 글로벌 마켓 인사이트(Global Market Insights)는 2025년이면 데이터 웨어하우스 워크로드의 대부분을 클라우드 서비스 업체가 호스팅할 것으로 추정한다. 가트너는 현재 데이터 웨어하우스 워크로드의 30%가 클라우드에서 구동되고 있으며, 이 비율이 2024년에는 2/3까지 증가할 것으로 전망했다. 가트너에 따르면, 불과 몇 년 전인 2016년만 해도 이 수치는 7%에 불과했다.
 
ⓒ Getty Images Bank

이런 전망치가 예상 밖의 일은 아니다. 심지어 핵심 데이터 웨어하우스 기술 업체도 이런 경향을 파악하고 자사 연구개발 예산의 대부분을 퍼블릭 클라우드 서비스 업체용 솔루션을 구축하는 데 투여하고 있다. 게다가 퍼블릭 클라우드 서비스 업체도 이들 전문업체를 죽일 수 있는 제품을 자체 보유하고 있다. AWS의 레드시프트가 대표적인 예로, 이 열 기반 데이터베이스(columnar database)는 대형 엔터프라이즈 데이터 웨어하우스 솔루션 업체와 경쟁하기 위해 만든 것이다.

과거 데이터 웨어하우스와 데이터 마트를 퍼블릭 클라우드에 구축하는 데는 장애가 많았다. 우선 퍼블릭 클라우드는 여전히 보안에 문제가 있다는 선입견이 있었다. 또한 페타바이트급 데이터를 온프레미스 시스템에서 클라우드로 옮기는 것도 쉽지 않았다. 경우에 따라서는 이동형 스토리지 시스템을 이용해 물리적으로 옮기기도 했다. 온프레미스 데이터 웨어하우스에서와 같은 분석 툴을 찾지 못하는 경우도 많았다. 많은 기업은 익숙한 분석 툴을 바꾸려 하지 않았다.

지금은 이런 모든 장애물이 사라졌다. 대부분은 데이터 웨어하우스를 구축하고 유지하는 기업이 퍼블릭 클라우드가 대부분 온프레미스 툴보다 한참 앞서 있다는 것을 알기도 전에 없어졌다. 현재 클라우드는 더 나은 보안과 성능, 비용, 분석 툴을 제공한다.

온프레미스 데이터 웨어하우스의 마지막 숨통을 끊는 것은 클라우드 상의 AI와 전통적인 데이터 분석에 AI를 통합하는 역량이다. AI는 이미 신기술도 아니지만, 데이터 인텔리전스를 위해서는 가장 먼저 투자해야 하는 기술이다. 더구나 데이터 웨어하우스가 학습 데이터의 원천이 된다는 점에서 AI는 진정한 ‘게임 체인저’이다. 

온프레미스 데이터 웨어하우스를 클라우드로 이전하게 만드는 또 다른 변화로는 트랜잭션 데이터를 분석용으로 직접 이용해야 할 필요성이 커지고 있다는 것이다. 데이터 웨어하우스는 원래 트랜잭션 데이터의 스냅샷을 찍어서 이를 분석용으로 데이터 창고에 모으는 개념으로 알려져 있다. 이 개념의 문제는 데이터가 몇 주 전의 것이라는 점이다. 현실은 점점 더 많은 경영진이 현업 거래 시스템에서 현재 데이터를 가져와 반영하는 실시간 대시보드를 주문하고 있다.

이를 위해서는 데이터 추상화 계층을 사용해 트랜잭션 데이터를 이용하고, 이를 AI 시스템과 연결해 좀더 매력적인 솔루션으로 만들어야 한다. 당연히 이런 기술은 퍼블릭 클라우드에서 찾을 수 있다. 네이티브 서비스를 이용할 수도 있고, 마켓플레이스나 생태계에서 찾을 수도 있다.

데이터 웨어하우스로 클라우드로 옮기면 많은 이점을 얻을 수 있다. 기업은 마침내 중앙집중적으로 액세스할 수 있는 플랫폼에 데이터를 통합할 수 있다. 데이터는 클라우드에서 조금 더 안전하다. 그리고 데이터를 이용할 때 온프레미스 기술의 한계에 가로막히지 않는다. 이 세 가지가 온프레미스 데이터 웨어하우스의 관에 마지막 못을 박고 있다. editor@itworld.co.kr


X