데이터ㆍ분석

빅데이터가 DW, BI, 통계 분석과 다른 점

이대영 기자 | ITWorld 2014.02.21
빅데이터와 기존에 있던 DW, BI, 통계 분석과는 무엇이 다른가.

미래읽기 장동인 대표는 최근 자신의 페이스북을 통해 빅데이터와 DW, BI, 통계 분석과 다른 점이 무엇인가라는 화두를 던졌다.

장동인 대표는 현장에서 강의를 하다보면 자주 듣는 질문 가운데 하나가 바로 '빅데이터가 지금까지 있었던 DW, BI, 통계분석과 무엇이 다른가'라는 것이라고 말했다.

장 대표는 "해답은 아주 간단하지만 많은 사람이 헷갈리는 것 가운데 하나"라며, "이들의 다른 점을 모른다면 다음 단계에서는 혼돈의 연속이 될 것"이라고 설명했다.

장 대표의 설명에 따르면, 지금까지의 DW, BI, 통계분석의 가장 기본은 RDBMS이다. 소위 관계형DB라는 것이다.

기존 DW, BI, 통계분석 등은 유닉스 하드웨어, 유닉스 기반의 소프트웨어에서 운용된다. 그런데 데이터 양이 많아지면, 하드웨어를 아무리 추가해도 해결이 되지 않는다.

이처럼 기존 DW, BI, 통계분석은 비싼 하드웨어, 소프트웨어에서 실행되며, 이 또한 데이터가 많아지면, 비싼 하드웨어를 추가해도 실행할 수 없다는 것이다.

장 대표는 "그래서 나온 것이 빅데이터 기술"이라고 전했다. 우선 빅데이터는 PC같이 싼 하드웨어와 공개 소프트웨어에서 운영된다. 예를 들어 x86 PC 서버 하드웨어, 리눅스 기반의 소프트웨어 등이 바로 그것이다.
그리고 많은 데이터를 돌릴 때는, 하드웨어를 계속 늘려나가는데 문제가 없으며 컴퓨팅 성능도 계속 올라간다. 이것을 확장형(scale-out, scale-up)이라고 한다.

결국 기존 RDBMS 기술의 고질적인 문제점을 빅데이터 소프트웨어가 해결했는데 이것이 바로 하둡, NoSQL DB다.

장 대표는 "여기까지 얘기하면 '그게 다에요?'라고 말하는 이들이 있다. 그런데 빅데이터는 이것이 모두"라고 말했다.

다시 한번 생각해보면, 1980년대에는 아주 비싼 IBM 메인프레임이라는 대형 컴퓨터를 사용해왔다. 당시 유닉스, RDB는 IBM 대형 컴퓨터에 비해 상대적으로 가격 매우 쌌다. 그래서 전세계적으로 다운사이징 열풍이 불었다. 이것은 IT 아키텍처가 중앙 집중형에서 분산화하는 방식으로 바뀌었다.

30년이 지난 현재, 한 시대를 열었던 유닉스, RDB도 서서히 마감하고, x86, 리눅스, 하둡, NoSQL 시대가 열리고 있다.

그렇다고 유닉스, RDB가 사라질 것인지를 묻는데, 사라지지는 않는다. 아직도 IBM 메인프레임을 쓰는 곳이 있는 것 처럼 말이다. 다만 서서히 덜 쓰게 되는 것이다.

장동인 대표는 "빅데이터 기술은 엄청난 변화를 몰고 올 것이지만 그렇다고 기존 기술과 차이점은 생각보다는 그리 큰 것이 아니"라고 말했다. editor@itworld.co.kr
 Tags BI DW 빅데이터
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.