AIㆍML / BI|분석 / 데이터ㆍ분석

IBM, 스파크 기반의 머신 러닝 서비스 예정…블루믹스와 통합

Joab Jackson | IDG News Service 2015.06.16
IBM이 머신 러닝을 아파치 소프트웨어 재단의 스파크에 상당한 자원을 쏟아 붓고 있다. IBM은 스파크를 서비스의 형태로 제공할 계획이며, 스파크의 지속과 향후 발전을 도울 3,500명의 연구자와 개발자를 지원해왔다.

또한 자사의 머신 러닝을 위한 프로그래밍 언어인 시스템ML을 아파치 프로젝트에 기여하고 있으며, 지금까지 스파크 발전을 이끌어 온 데이터브릭스(Databricks)와 협력할 예정이다.

IBM 애널리틱스의 마케팅 총괄 관리자 조엘 호로비츠는 “스파크는 데이터를 처리하는 완전히 새로운 방법이다. 매우 강력한 인메모리 연산 엔진이며, 데이터 과학자와 개발자가 사용하기 쉬운 인터페이스를 갖췄다”고 말했다.

빅 데이터 프로세싱 플랫폼인 하둡의 계승자로 불리는 스파크는 일반적으로 대단위 클러스터를 필요로 하는 머신 러닝 작업에 적합하다.

호로비츠는 “머신 러닝은 데이터에서 본질적 가치를 추출하는데 무척 탁월하다. 머신 러닝 알고리즘은 특히 자동화된 분류, 복잡한 환경을 기기가 지각하는 것을 돕는 작업 등에 강점을 지녔다”고 설명했다. 이러한 작업은 예전에는 단일 서버에서 수행되기에는 지나치게 연산 집약적이라고 여겨졌으나, 스파크는 다수의 컴퓨터가 동시에 작업할 수 있도록 조정할 수 있다.

IBM은 이미 언어 번역, 데이터 시각화 등 머신 러닝 알고리즘에 기반한 많은 플랫폼 서비스를 제공하고 있다. 호로비츠는 스파크 서비스가 6월 말에 공개되며, 개발자가 자신만의 머신 러닝 알고리즘을 개발하고 구동할 수 있다고 밝혔다.

스파크는 IBM의 개발자용 통합 플랫폼 서비스인 블루믹스(Bluemix)에서 사용할 수 있으며, 보조 인프라를 설치할 필요 없이 손쉽게 데이터를 불러와 검토하고, 결과를 다시 다른 애플리케이션으로 보낼 수 있다.

지난 해 많은 기업이 기존의 데이터 분석에 빅데이터 수준의 분석을 도입하면서 스파크가 많은 인기를 얻었다. 이베이, 나사, 오픈테이블, 나사 등의 기업이 모두 대규모 데이터 집합을 이해하기 위해 스파크를 사용해 왔다. 자바 툴 업체 타이프세이프(Typesafe)가 진행한 2014년 12월 설문 조사에 따르면, 3,000명의 자바 전문가 중 약 17%가 소속 기업에서 스파크를 사용한다고 응답한 바 있다. editor@itworld.co.kr 
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.