장단점·생태계·사용사례로 비교해 보는 '하둡 vs. 스파크'

기업 내 데이터 업무가 점점 증가하고 있다. 이에 따라 오픈소스 빅데이터 프레임워크인 하둡과 스파크 중 무엇을 고를 것인지가 점점 중요한 문제로 대두되고 있다. 하둡과 스파크의 장단점, 벤더 정보, 고객사 사용 사례를 범주별로 분류해 살펴본다.



하둡(Hadoop)과 스파크(Spark)는 다른 점이 많은 기술이다. 사용 사례도 크게 다르다. 두 기술을 공개한 ASF(Apache Software Foundation)는 심지어 이 둘을 다른 범주로 분류하고 있다. 하둡은 데이터베이스이고 스파크는 빅데이터 툴이다.

아파치(Apache)의 말을 빌리자면 하둡은 '분산형 컴퓨팅 플랫폼'으로, 다음과 같이 설명된다.

"단순한 프로그래밍 모델을 사용하는 컴퓨터 클러스터에서 대형 데이터 세트의 분산형 처리를 가능하게 하는 프레임워크다. 단일 서버에서 각각 로컬 연산 및 저장 기능을 제공하는 수천 대의 장비로 스케일업(Scale Up)되도록 설계됐다. 하드웨어에 의존해 높은 가용성을 제공하는 대신, 라이브러리 자체가 애플리케이션 계층에서 고장을 감지하고 처리할 수 있도록 설계됐다."

하둡에 관해 이야기할 때에는 대부분 "애플리케이션 데이터에 대해 대용량 접근(high-throughput access )을 제공하는 분산형 파일 시스템"인 HDFS(Hadoop Distributed File System)를 의미한다. 하지만 이 밖에도 작업 일정관리 및 클러스터 자원 관리 툴인 하둡 얀(YARN)과 대형 데이터 세트 병렬 처리를 위한 하둡 맵리듀스가 존재한다.

한편, 스파크는 "대규모 데이터 처리를 위한 고속 일반 엔진이다. 자바(Java), 스칼라(Scala), 파이썬(Python)의 고수준 API뿐만 아니라 스트림 처리, 기계 학습, 그래프 분석 등을 포함해 일련의 풍부한 라이브러리를 제공한다"고 기술돼 있다.

이들을 어떻게 조합할 수 있을까?
둘 다 빅데이터 프레임워크다. 기본적으로 데이터 풀(Pool)이 빠르게 성장하는 기업이라면, 하둡은 이 데이터를 신뢰할 수 있는 안전한 방법으로 저장할 수 있게 해줄 수 있는 툴이다. 스파크는 이 데이터를 이해하기 위한 툴이다. 하둡이 러시아어로 쓴 성경이라면 스파크는 러시아어 사전이자 상용 회화집인 셈이다.

스파크는 HDFS나 NoSQL 데이터베이스 등의 다른 파일 시스템 상에서 구동될 수 있다. 몽고DB(MongoDB), 카우치베이스(Couchbase), 테라데이터(Teradata) 등의 스파크 커넥터를 활용해서다.

카우치베이스의 제품 관리 책임자 윌 가델라는 "하둡의 경우 단일 기술이랄 게 없다. 거대한 기술군이다. 기본적으로 모두가 좋아하는 분산형 파일 네트워크를 갖게 된다. HDFS는 따분하면서도 어려운 문제를 잘 해결하며 원하는 만큼 많은 것을 저장할 수 있게 해주면서도 오류 걱정을 덜어준다. 이 점만큼은 확실하다"고 말했다.

결국 데이터와 IT 인원의 기술을 통해 무엇을 하려는 지가 중요하다. 데이터를 하둡에 적용한 후에는 다양한 방법으로 가치를 얻을 수 있다. 표준 분석 업무는 데이터 청소(Cleansing), 쿼리(querying), 시각화용 데이터 레이크(Data Lake)에 툴을 연결시킴으로써 진행해나갈 수 있다.

분석 및 비즈니스 인텔리전스(Business Intelligence) 시장의 주요 기업(스플렁크 등)은 하둡 통합 제품을 공급하고 있다. 타블로(Tableau) 같은 데이터 시각화 업체는 이 데이터를 데이터 비전문가들에게 보여줄 수 있는 솔루션을 제시하고 있다.

한편, 가델라가 이야기했듯이 스파크는 직원들이 실시간 데이터를 기준으로 의사를 결정할 수 있도록 하고자 할 때 유용하다. 즉 데이터가 의료 기록 데이터베이스 등과 같이 단순히 방대한 용량의 구조화된 데이터라면 스파크의 스트리밍 역량은 그리 빛을 발하지 않는다.

하둡 vs 스파크, 장/단점 비교
- 신뢰성: 하둡의 뚜렷한 이점은 분산형 플랫폼이기 때문에 고장에 덜 취약해 기본 데이터를 항상 이용할 수 있다는 점이다. 상시 서비스 역량이 요구되는 웹 기업들이 이 데이터베이스를 선택하고 있는 이유다.

- 비용: 하둡과 스파크는 ASF의 프로젝트이기 때문에 오픈소스이며 기본적으로 무료다. 하지만 최종 가격은 이행 방식, 총 소유 비용, 필요한 기술과 하드웨어에 따른 이행 관련 시간 및 자원에 따라 달라질 수 있다. 이 밖에 데이터 레이크가 성장할지라도 고도의 확장성을 만끽할 수 있다.

오라클(Oracle)과 SAP 등의 전통적인 데이터베이스 제공자의 라이선스 제공 모델은 많은 CIO들에게 골칫거리였다. 반면 대부분의 하둡/스파크 전문 기업들이 제공하는 SaaS(Software-as-a-Service) 가격 모델은 기업 적합성을 살펴보기에 충분한 유연성을 제공해준다. .

- 속도: 아파치 재단에 따르면 스파크는 하둡 맵리듀스보다 최대 100배 더 빠르다고 한다. 왜냐하면 스파크는 하드 드라이브로 읽고 쓰는 대신에 인메모리(IN-memory)로 동작하기 때문이다. 맵리듀스는 클러스터로부터 데이터를 읽고 연산을 수행하며 클러스터에 다시 결과를 작성하기 때문에 시간이 소요되는 반면에 스파크는 이 과정을 한 곳에서 수행한다.

- 보편성: 카우치베이스의 가델라는 이렇게 말했다. "스파크는 카우치베이스, MySQL, 아마존 S3(Amazon S3), HDFS 등 모든 곳에서 데이터를 불러올 수 있다. 예상 가능한 모든 포맷(Format)을 HBase에서 불러오면 된다. 스파크를 다재다능하게 만드는 특징이다."

- 요구 역량: 벤더가 어떻게 이야기하든 스파크는 사용이 쉽지 않은 툴이다. 데이터 분석가 및 전문가들을 위한 것으로 봐야 한다. 일반적으로 매우 복잡하고 지속적으로 변화하는 스트리밍 데이터 세트에 적용된다.

하둡 vs 스파크: 사용 사례 비교
하둡은 많은 데이터를 저장할 수 있는 기능때문에 고객에 대한 360도 시야 확보, 소매 기업을 위한 추천 엔진, 보안 및 위험 관리 등에 활용되는 경우가 잦다.

반면 스파크의 경우 실시간 상호작용 데이터 분석을 통한 더욱 광범위한 개인화 제공 기능 때문에 소매 기업 및 사물 인터넷(Internet of Things) 기업들이 관심을 가지곤 한다.

몽고DB의 기업 전략 부사장 켈리 스터만은 "이 밖에 스파크의 인기가 올라가는 요인이 있다며, 머신러닝이라는 중차대한 사용 사례와 호환성을 가진 점이 그것"이라고 설명했다.

스터만은 "하둡이 사용되기 시작한 지 10년이 지났다. 여전히 촉망받는 기술이기는 하지만 대부분의 사람들은 이를 사용하기 어렵고 인공 지능 및 머신러닝에 적합하지 않은 기술로 생각하고 있다"고 말했다.

카우치베이스의 가델라도 이에 동의했다. "머신러닝 분야에서는 스파크 실행 방식이 훨씬 낫다고 본다. 머신러닝 사용사례 또한 하둡보다 스파크 쪽에서 더욱 강력한 양상을 보이고 있다"고 말했다.

하둡 vs 스파크: 고객사 비교
하둡 전문 업체인 호튼웍스(Hortonworks)는 광범위한 차원에서 상위 100개 금융 서비스 기업 가운데 55개, 그리고 상위 100개 소매 기업 가운데 75개와 협력하고 있다고 주장한다. 그러나 실제 사용 사례를 확인하기는 쉽지 않다. 아마도 벤더들이 말하는 것만큼 기술이 성숙하지 않은데다, 고객들은 여전히 이 기술을 비법으로 생각하기 때문일 것이다.

데이터스택스(DataStax)의 고객사 BGCH(British Gas Connected Homes)은 하둡 대신 스파크와 아파치 카산드라(Apache Cassandra)를 이용해 스마트홈 장치에서 수집한 실시간 사용 통계를 고객들에게 제공하고 있다.

BG(British Gas)의 데이터 및 분석 책임자 짐 아닝은 "커넥티드 기기가 앞으로도 증가할 것이다. 센서는 항상 데이터를 수집하고 있다. 예를 들어, 온도 센서는 수 분마다 데이터를 제공하고 있다. 전통적인 관계형 데이터베이스로 확장하는 방식으로는 이에 대응할 수 없다"고 말했다.

이 밖에 전기 자동차 제조사 테슬라(Tesla)가 자사의 커넥티드 카 데이터 처리에 하둡을 활용하고 있으며, 여행 예약 기업 익스피디아(Expedia)도 데이터를 하둡 환경으로 확장 이전시키고 있다. 영국항공(British Airways) 역시 데이터 저장 및 분석을 위해 하둡을 활용하고 있다.

카우치베이스의 가델라에 따르면 "법적으로 회계 정확성이 중요한 기업들은 여전히 전통적인 데이터 웨어하우스(Data Warehouse)를 운영하고 있다. 그러나 일부 은행과 소매 기업들은 저렴하고 유연하기 때문에 하둡으로 이전하고 있으며 필요한 데이터 분석 역량을 갖춘 인력을 확보해가고 있다"고 전했다.

하둡 vs 스파크: 벤더 비교
하둡을 내부 역량만 이용해 도입할 수 있다. 아파치는 필요한 모든 문서를 제공한다. 좀더 쉬운 방법은 벤더를 선정해 도입하고 지원받는 것이다. 스파크도 마찬가지다. 스스로 도입할 수도 있고 호튼웍스의 SaS(Spark at Scale), 클라우데라(Cloudera), 맵알(MapR) 등의 벤더를 이용할 수 있다.

2015년 12월 현재, 가트너(Gartner)는 아마존, IBM, 피보탈(Pivotal), 트랜스왑(Transwarp), 호튼웍스, 클라우데라, 맵알 등 7개 벤더들이 상용 하둡 버전을 제공하고 있다고 밝혔다. 카우치베이스, 몽고DB, 데이터스택스(DataStax), 바쇼(Basho), MemSQL 등의 벤더는 경쟁 데이터 관리 플랫폼 위에 구축된 스파크를 제공하고 있다.

NoSQL 데이터베이스 벤더들은 지난 1년 동안 스파크 커넥터를 선보였으며 몽고DB가 가장 최근에 이 대열에 합류했다. 전략 부사장 켈리 스터만은 "몽고DB의 차별화 요소가 있다"며, "많은 이가 커넥터를 그저 관심을 모으기 위한 마케팅 전략으로 본다. 즉 완전하지 않거나 기능이 풍부하지 않은 커넥터가 많다"고 말했다.

하둡 배포판에 대한 시장 개요를 다른 보고서에서 가트너의 분석가 닉 휴데커, 머브 에이드리언, 앵커시 제인은 "(자체 배포판을 제공하는) IBM, 마이크로소프트, 오라클, SAP, 테라데이터 등과 같은 정보 관리 분야의 거대 벤더들이 하둡의 중요 요소를 통해 대부분 통합을 완료함에 따라 하둡 생태계가 변화했다"고 진단했다.

"그들은 이벤트 스트림 처리, 분석, 데이터베이스 관리 시스템(DBMS), 데이터 연합 및 통합, 메타데이터(Metadata) 관리, 보안, 거버넌스(Governance) 등의 더욱 광범위한 역량 포트폴리오를 통합하고 있다. 하둡 배포 기업들 또한 파트너십 또는 자체 개발 시도를 통해 이런 역량을 추가하고 있다"고 덧붙였다.

하둡 vs 스파크: 결론
스파크와 비교해 상대적으로 높은 성숙도에도 불구하고 하둡은 여전히 많은 벤더들이 주장하는 혁신적인 결과를 제공하지 못하고 있다. 가트너의 시장 가이드에 따르면, 2018년까지 하둡 배치 프로젝트의 70%가 기술 및 통합 문제로 인해 비용 절감과 수익 창출 목표를 달성하지 못할 것으로 예상했다.

그렇다면 해답은 뭘까? 가트너는 이에 대해 "프로젝트와 구체적인 비즈니스 요건을 일치시키고 이에 적합한 지원되는 기술 구성요소의 존재 및 준비도를 확인해야 한다"고 권고했다.

반면 스파크는 전문지식이 있는 적절한 기업에게 진정한 혁신을 가져올 잠재력을 보이고 있다. 가트너는 "아파치 스파크는 하둡이 전통적인 데이터베이스 관리 시스템에 그랬던 것처럼 잠재적으로 하둡을 파괴할 수 있는 존재로 부상하고 있다"라고 평가했다.

그러나 하둡과 스파크 사이에서 일부 고민할 수 있지만, 이 둘은 직접적인 경쟁 대상이 아니다. 보완적인 기술로 함께 사용될 수 있으며, 데이터에 따라 어느 한 쪽이 좀더 적합한 정도다. 그리고 두 기술 모두 기업이 특정 벤더에 얽매이지 않고 적절한 팀을 통해 그 어느 때보다도 손쉽게 개념 증명을 확인해볼 수 있다는 장점을 가지고 있다. ciokr@idg.co.kr