AIㆍML / BI|분석 / CIO / IoT / 데이터ㆍ분석 / 미래기술

전문가들이 말하는 2017년 빅데이터·분석 전망 15선

Thor Olavsrud | CIO 2017.02.09
빅데이터와 분석 관련 기술은 소셜, 모바일, 클라우드와 더불어 디지털 시대의 변혁을 이끄는 주역으로 알려져 있다. 2016년 시장의 주인공이 BI 강화를 주도한 빅데이터 기술이었다면 2017년은 데이터, 분석 분야의 혁신에 주목해야 할 한 해가 될 것이다.


Credit: Getty Images Bank

전문가들이 바라본 올해 빅데이터와 분석 관련 전망을 15가지로 정리했다.
우선 맵알테크놀로지스(MapR Technologies)의 설립자이자 수석 경영자로 재직 중인 존 슐로이더는 2017년 데이터와 분석 시장을 휩쓸 흐름으로 다음의 6가지를 지목했다.

- 인공지능(AI)의 새로운 전성기
1960년대 레이 솔로모노프는 귀납적 추론과 예측을 위한 종합적 베이지안(Bayesian) 방법론을 소개하며 AI와 관련한 수학적 이론의 토대를 마련했다. 그리고 80년대 스탠퍼드에서 열린 제1차 미 인공지능 협회(American Association for Artificial Intelligence, AAAI) 총회에서는 산업의 이론들을 소프트웨어에 적용할 방법에 대한 논의가 이뤄진 바 있다.

오늘날 AI는 다시금 시장의 주류로서 논의되고 있으며, 머신 인텔리전스(machine intelligence), 머신러닝, 신경망, 인지 컴퓨팅 등 각종 파생어를 만들어가고 있다. AI가 다시 한번 주류로 진입한 이유는 무엇일까? 슐로이더는 그 이유로 흔히 빅데이터를 정의하는 3V 개념(속도(Velocity), 다양성(Variety), 규모(Volume))을 언급했다.

오늘날의 플랫폼들은 현대적, 전통적 프로세싱 모델들이 보장하는 확장성에 힘입어 이 3V를 처리할 수 있게 됐으며, 이에 따라 이전의 플랫폼들보다 10~20배 개선된 비용 효율성을 보장할 수 있게 됐다고 슐로이더는 설명했다.

구글은 대규모 데이터셋을 대상으로 잦은 빈도로 실행되는 단순한 알고리즘이 어떻게 더 작은 세트를 활용하는 다른 접근법들에 비해 더 나은 결과를 창출할 수 있을지를 명확하게 설명한 바 있다. 슐로이더는 대규모의 반복적 작업 상황에 인간의 직관이 개입해 발생할 수 있는 오류와 손실의 우려를 보완할 도구로써 AI의 가능성을 강조하며, 곧 AI를 활용한 가치 발굴 사례들을 실제로 만나볼 수 있을 것으로 전망했다.

- '통제냐, 경쟁우위냐' 불붙는 빅데이터 논쟁
슐로이더는 2017년에 데이터 통제와 가치 발굴이라는 2가지 관점 사이의 논쟁이 한층 뜨거워질 것으로 내다봤다. 기업들은 고객과 파트너에 대한 더욱 많은 정보를 수집하고 있으며, 이를 때론 통제된 방식으로, 때론 그렇지 않은 방식으로 관리하게 될 것이다.

통제된 방식이란 데이터의 품질과 계보를 관리해 규제 기관이 그것의 출처와 모든 변형을 추적, 보고할 수 있도록 하는 것이다. 슐로이더는 기업들에게 이런 통제가 권고, 의무화되기는 하지만 때로는 커스터머 360(Customer 360)과 같은 솔루션을 활용한 용례나 더 높은 기수(cardinality), 실시간, 정형-비정형 조합을 통한 서비스 제공 등의 비-통제 용례들이 훨씬 더 효율적인 결과를 창출하는 경우도 있다고 설명했다.

- 데이터 호수라는 늪에 빠지는 것을 막고자 현업이 애플리케이션 투자 주도
슐로이더에 따르면, 2017년 기업들은 '구축만 완료되면 모두가 몰려온다'는 데이터 호수에 대한 기존의 시각에서 탈피해 좀더 현업 주도적인 데이터 접근법을 받아들여 나갈 전망이다. 오늘날 시장에서 분석, 운영 기능은 고객, 프로세스 요청, 인터페이스를 개별 차원에서 실시간으로 기기에 전달하는 도구로 활용되고 있다.

예를 들어 전자상거래 사이트의 경우 실시간 고객 맞춤 추천이나 가격 확인 등에 집중하고 있고, 의료 기관들의 경우 분석과 운영 시스템을 결합해 보험 승인과 부정 수급 차단 작업을 처리하고 있으며, 미디어 산업에서는 셋톱박스를 통한 맞춤 콘텐츠 제안, 그리고 맞춤 차량 생산, 렌트 분야에서는 차량과 운전자 간의 상호작용 강화 방안에 대한 연구가 이뤄지고 있다.

이런 사례를 구현하기 위해서는 백오피스에서 데이터 분석 기능과 현업의 운영 기능을 아우르는 가치 발굴 과정이 요구된다. 기술적으로는 분석, 운영 프로세싱을 함께 전개할 수 있는 애자일 플랫폼이 요구되는 부분이다. 슐로이더는 2017년 기업들이 '질문을 던지는' 접근법을 넘어 장·단기적 비즈니스 가치를 주도할 아키텍처 구축에 집중할 것으로 예상했다.

- 데이터 민첩성이 성패 좌우
슐로이더는 데브옵스(DevOp) 전략을 통해 소프트웨어 개발 과정이 좀더 지속적이고, 민첩하게 진행되고 있는 경향에 주목하고 있다. 2017년 처리 및 분석 모델은 한층 더 진화해 기업들이 데이터 민첩성(data agility, 데이터를 맥락적으로 이해하고 이에 기반을 둔 비즈니스 실행을 하는 역량) 인지에 버금가는 수준의 민첩성을 제공하게 될 것이다. 기업들에겐 단순히 거대한 데이터 호수를 보유하는 것을 넘어, 새로운 경쟁우위의 기반을 확보하는 것이다.

슐로이더에 따르면, 애자일 프로세싱 모델(agile processing model)의 대두는 동일 데이터 인스턴스를 통한 배치 분석(batch analytics), 쌍방향 분석, 글로벌 메시징, 데이터베이스, 파일 기반 모델 지원을 가능케 할 것이다. 또한 애자일 분석 모델의 확장은 단일 데이터 인스턴스가 더 넓은 범위의 도구 모음을 지원할 수 있을 때도 구현할 수 있다. 이를 통해 기업들은 궁극적으로 광범위한 처리 및 분석 모델을 지원하는 애자일 개발과 애플리케이션 플랫폼의 확보가 가능해진다.

- 블록체인이 구현하는 금융 서비스 애플리케이션의 고급화
슐로이더는 2017년 금융 서비스 분야에 더 확장된 데이터 저장, 거래 처리 방법론에 기반을 둔 특별한, 변혁적 용례들이 등장할 것으로 전망했다. 블록체인은 데이터를 저장하고 거래를 처리하는 과정을 변화시키는 글로벌 분산형 원장 제공 역할을 한다.

블록체인은 전세계에 분산된 컴퓨터들에서 구동되며, 그 체인은 누구나 열람할 수 있다. 거래는 블록 내에 저장되며, 각 블록은 이전의 블록과 연결된다. 데이터가 저장된 블록에는 타임스탬프가 부여되며, 그 형태는 대체할 수 없다. 모든 블록체인이 공개되기 때문에, 이론적으로 이를 해킹할 수는 없다.

소비자 관점에서 블록체인은 매우 효율적인 방식이다. 이를 이용할 경우 고객들은 SWIFT 거래를 위해 대기하거나, 중앙 데이터센터의 해킹을 걱정할 필요가 없어진다. 슐로이더는 기업의 입장에서도 블록체인은 비용 절감, 경쟁 우위 확보의 이점을 지닌 도구라고 밝혔다.

- 머신러닝을 통해 극대화되는 마이크로서비스의 영향력
슐로이더는 2017년에 머신러닝과 마이크로서비스의 통합이 적극적으로 전개될 것으로 전망했다. 그간 마이크로서비스 배치는 가벼운 서비스 영역들에 집중됐으며, 그것을 머신러닝과 통합하는 시도는 '신속한 데이터' 통합으로서 스트리밍 데이터의 좁은 대역폭에 적용되는 수준이 고작이었다.

그러나 올해를 기점으로 마이크로서비스의 배치는 빅데이터를 활용하는 네트워크 연결 추적 가능 애플리케이션들로 확장될 것이며, 머신러닝과의 통합도 대규모의 기록 데이터를 활용하는 방향으로까지 보편화돼 기업들에게 신규 스트리밍 데이터에 대한 맥락 이해의 시각을 제공해주는 가치를 전달하게 될 것이다.

하둡 배포판 업체인 호튼웍스(Hortonworks)도 다음과 같이 전망했다.
- 지능형 네트워크가 이끄는 데이터 클라우드의 성장
호튼웍스는 그간 연결성의 발전으로 만물인터넷(Internet of Anything IoAT)과 기계 간 연결, 데이터 사일로 등의 발전에 기대했다면, 이제는 데이터 클라우드가 환경의 연결성 개선에 주도적인 역할을 해나갈 것이라고 분석했다.

- 실시간 머신러닝과 분석의 최전선
호튼웍스는 스마트 기기 간의 협업과 상호 분석의 현실화에 대해 전망했다. '동료 간' 결정을 실시간으로 심사하는 분산형 데이터 애플리케이션 내 실시간 머신러닝 알고리즘이 본격적으로 상용화되는 것이다.

- 선제적 분석: 사후, 실시간의 차원을 넘어선 선행적 분석과 행동
단순히 데이터 처리를 조정하고 최적화했던 그간의 분석이, 이제는 그 처리 자체를 주도하는 선제적 분석 개념으로 대체될 것이다.
호튼웍스에 따르면, 이를 통해 데이터 중심 비즈니스들은 새로운 수익원을 확인하고 비용 절감, 고객 친밀도 개선의 효과를 창출하는 새로운 변혁을 경험하게 될 것이다.

- 현대적 연결형 데이터 애플리케이션의 보편화
데이터가 비즈니스 성공의 열쇠로 기능하기 위해, 기업들에겐 앱과 데이터를 플랫폼 또는 프레임워크를 통해 연결하는 노력이 요구된다. 호튼웍스는 이것이 2017년 현대적 데이터 애플리케이션의 근간이 될 것이라고 밝혔다.
고도의 휴대성, 컨테이너화, 연결성을 특징으로 삼는 이 현대적 데이터 애플리케이션들은 기존의 수직 통합형 모놀리식(monolithic) 소프트웨어를 빠르게 대체해나갈 것으로 보인다.

- 데이터의 보편 상품화
호튼웍스는 데이터가 구매, 판매, 손실 가치를 지닌 상품으로 변화할 것으로 전망했다. 향후 시장에는 이 자산을 수익화할 새로운 방법론과 비즈니스 모델, 그리고 기업들이 등장해나갈 것이다.

오픈소스 아파치 카산드라 NoSQL 데이터베이스 상용 버전 개발, 지원 업체인 데이터스택스(DataStax)는 다음과 같이 전망했다.
- 데이터 엔지니어의 부상
데이터스택스는 '데이터 과학자'라는 용어의 시의성이 감소하며 그 자리를 '데이터 엔지니어'가 대체해나갈 것으로 전망했다.

데이터 과학자가 핵심 비즈니스 이슈에 데이터 과학 및 분석 결과를 전달하는 데 초점을 맞춘 직무였다면, 데이터 엔지니어는 빅데이터 인프라의 설계와 구축, 관리를 담당하는 직무로 아키텍처와 시스템 운영 유지에 더 초점을 둔다.

- 보안: IoT의 성장이 야기하는 경계의 붕괴
데이터스택스는 오늘날의 IoT 성장이 그 주변 요소들에 대한 충분한 고민 없이 이뤄졌다고 지적했다. 명확한 표준도 없는 상황에서 IoT가 다루는 데이터 규모는 폭발적으로 늘어남에 따라, 보안과 관련한 책임 소재가 명확히 정의되지 않고 있다는 것이다.

데이터스택스는 오늘날의 IoT 위기와 관련해 가장 큰 위협을 떠안고 있는 대상은 ISP들이라며, 2017년에는 IoT의 보안에 대한 좀더 활발한 논의가 진행되고 ISP들은 이 과정에서 주도적인 역할을 수행해나갈 것이라고 전망했다.

- 기업용 클라우드 애플리케이션 확산이 이끈 하이브리드의 승리
그간 데이터베이스 구축을 기존 시스템에 의존했던 대기업들이 변화의 움직임을 보이고 있다. 하이브리드 데이터 아키텍처는 기업들의 기존 데이터베이스를 수용하는 동시에 그들에게 클라우드 애플리케이션의 효익 역시 전달하며 기업들의 관심을 얻어가고 있다.

- 서버리스 아키텍처를 통한 효율성 개선
서버리스 아키텍처는 서버 측면의 로직 및 상태 관리를 위해 클라우드 내부에서 구동되거나 이벤트 트리거(event-trigger)인 스테이트리스 컴퓨트 컨테이너(stateless compute container) 내부에서 구동되는 서드파티 애플리케이션이나 서비스에 의존하는 애플리케이션을 의미한다.

데이터스택스는 이 서버리스 아키텍처가 올 한해 보편화될 것으로 전망했다. 서버리스 아키텍처 채택을 통해 기업들의 애플리케이션 배치 및 관리 과정에는 많은 변화가 있을 것이다. ciokr@idg.co.kr
 

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.