데이터ㆍ분석 / 애플리케이션

빅데이터 공급망 구축 방법

New Tech Forum | InfoWorld 2014.04.23

빅데이터(Big Data)가 커질수록 실행에 옮길 수 있는 비즈니스적 통찰력을 얻기 위한 관리와 분석이 더욱 힘들어진다. 빅데이터의 주된 장점이 계산 지향적인 거대 데이터 분석에 기초해 더 나은 비즈니스 의사 결정을 내릴 수 있도록 하는 것임을 감안할 때 다소 반어적으로 볼 수 있다.

이에 대한 해결책은 처음부터 비즈니스 목표를 확인해 공급망을 구축하고 이런 목표를 달성하는데 필요한 민첩한 인프라(Infrastructure)를 배치하는 것이다.

최근 뉴테크 포럼에서 인포매티카(Informatica)의 제품 마케팅 책임자 존 하다드는 적절히 구성된 빅데이터 아키텍처가 실제 세계에서 결과를 도출할 수 있는 방법을 설명하는데 도움이 되는 4가지 보편적인 사용례를 설명했다.

수십년 동안, IT는 잘 정의된 요건과 사전에 정의된 보고서를 통해 일반적인 비즈니스 인텔리전스(Business Intelligence, BI)와 데이터 웨어하우징(Data Warehousing, DW)에 의존해 왔다.

빅데이터 분석의 새로운 세계에서의 발견은 그 과정 가운데 일부이기 때문에 새로운 통찰이 발생하면서 목표가 바뀌게 된다.

이를 위해서는 데이터로부터 비즈니스 통찰과 실행에 옮길 수 있는 정보로 신속하면서도 원활하게 이동할 수 있는 인프라스트럭처와 프로세스가 필요하다.

데이터를 비즈니스 가치로 신속하게 변모시키기 위해 빅데이터 아키텍처는 데이터의 양, 다양성, 속도를 관리하고 처리할 수 있는 공급망으로 보일 수 있어야 한다. 우선, 모든 기업은 빅데이터 프로세스가 필요하다. 이 프로세스는 3단계로 나뉘어진다.

1. 비즈니스 목표 확인
그 누구도 무엇을 얻을 지에 대한 전반적인 비전 없이 빅데이터를 배치해서는 안 된다. 목표를 수립하기 위한 토대는 관련 주제 전문가와 긴밀히 협력하는 데이터 공학 및 분석팀이다. 데이터 공학자, 분석가, 개발자는 반드시 협업해 비즈니스 목표의 우선순위를 정립하고 통찰력을 생성하며 가설과 분석 모델을 검증해야 한다.

2. 빅데이터 통찰 실현
데이터 공학팀은 반드시 개발팀과 연계해 움직여야 한다. 두 그룹은 재현 가능한 프로세스와 방법을 통해 통찰과 목표를 실현하고 주주, 고객, 파트너에 실행에 옮길 수 있는 정보를 제공해야 한다.

3. 빅데이터 파이프라인 구축
데이터 관리 및 분석 시스템 아키텍처는 반드시 협업을 가능하게 하고, 수동 단계를 없애야 한다. 빅데이터 공급망은 미가공 데이터를 실행에 옮길 수 있는 정보로 변모시키는데 필요한 4가지 핵심 작업으로 이뤄져 있다.

- 습득과 저장(Acquire and store): 어댑터를 통해 배치, 실시간, 실시간 근접 모드로 데이터를 수집 및 저장할 수 있는 기능으로 어떤 지연시간(Latency)이 없이 모든 플랫폼부터 운영 및 레거시 시스템, 소셜 미디어, 기계 데이터까지 모든 종류의 데이터에 접근한다.

- 정제 및 농축(Refine and enrich): 분석을 위해 데이터를 통합, 정리, 준비하면서 기술 및 운영 메타데이터를 수집하여 데이터 세트를 태그(Tag) 처리하고 농축함으로써 검색과 재사용을 용이하게 한다.

- 탐색과 지원(Explore and curate): 데이터를 검색하고 패턴, 트렌드, 통찰을 시각적으로 표현하고 발견하며 잠재적인 비즈니스적 영향을 끼친다. 최고의 비즈니스 가치를 갖는 이런 데이터 세트를 지원하고 관리한다.

- 분배와 관리(Distribute and manage): 모바일 기기, 기업 애플리케이션, 기타 수단을 통해 최종 사용자에 실행에 옮길 수 있는 정보를 변형시키고 분배한다. 유연한 배치 아키텍처를 가진 SLA(Service Level Agreement)를 관리하고 지원한다.

일단 프로세스가 수립되면 빅데이터 레퍼런스 아키텍처는 데이터웨어하우스 최적화, 360도 고객 분석, 실시간 운영 인텔리전스, 관리형 데이터 호수(Managed data lake) 등 실행에 옮길 수 있는 비즈니스 인텔리전스를 가능하게 하는 이런 4가지의 보편적인 빅데이터 사용례 패턴을 지원할 수 있다.

데이터웨어하우스 최적화
데이터의 양이 늘어나면서 기업들은 데이터웨어하우스 환경에 점차 더 많은 금액을 지출하고 있다. 이 환경에서 용량이 너무 빨리 소모되면 문제가 발생하게 되어 결국 기관들이 저장 및 처리능력을 위해 값비싼 업그레이드를 실행에 옮길 수 밖에 없다.

대용량 데이터 성장에 대응하는 방법은 대규모 데이터를 저장하고 처리하기 위한 저렴한 솔루션을 제공하는 하둡(Hadoop)을 배치하는 것이다. 자원 시스템으로부터 얻은 미가공 데이터를 웨어하우스로 옮기는 대신, 단순히 본래의 소스 데이터를 하둡에 저장할 수 있다.

여기에서 비즈니스 인텔리전스와 분석 보고를 위해 결과(훨씬 작은 데이터 세트)를 데이터웨어하우스로 다시 옮기기 전에 데이터를 준비하고 사전에 처리할 수 있다. 하둡은 전통적인 데이터웨어하우스를 대체하지는 않지만, 뛰어나면서 상호 보완적인 솔루션을 제공한다.
 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.