넘버스
넘버스
자본 시장 데이터 분석을 위한 클라우데라 활용 사례
| Cloudera
데이터 분석이 곧 비즈니스인 대표 분야는 바로 금융 서비스다. 이 분야는 오래전부터 데이터의 중요성에 눈을 떴고 데이터 분석 기법을 발전시켰다. 2021년 현재 금융 서비스 업계의 빅데이터 플랫폼 구축과 운영 트렌드를 엿볼 수 있는 신한 AI의 사례를 살펴보자. 이 사례는 클라우데라 세션 코리아에서 ‘자본 시장 데이터 분석을 위한 클라우데라 활용 사례’란 주제로 진행된 신한 AI 전치훈 팀장의 발표 내용을 정리한 것이다.
AI 기반 금융 서비스 시대를 열다
신한 AI는 국내 금융지주회사 최초의 인공지능(AI) 자회사로 설립됐다. AI 기술을 활용해 자산 배분, 상품 추천 등 다양한 투자 자문 서비스를 제공하며 새로운 차원의 금융 서비스 시대를 열고 있다. 신한 AI의 사업 기반이자 핵심 자산은 데이터이다.
신한 AI는 글로벌 정보 제공업체에서 받은 데이터와 크롤링을 통해 수집한 데이터를 대상으로 첨단 분석을 수행한다. 2,000만 건의 비정형 데이터는 IBM 왓슨(Watson)을 이용하고 정형 데이터 43만 건은 강화학습 기반의 자체 모델로 분석한다. 이렇게 분석한 정보는 NEO라는 AI 기반 투자 자문 서비스로 제공된다. 신한 AI는 NEO 외에도 시장 급락 원인을 탐지해 알려주는 마켓워닝 시스템 서비스도 제공하고 있다.
시작부터 개방형 분석 플랫폼 구축
신한 AI는 신생 기업이다 보니 빅데이터 플랫폼 구축과 운영 접근이 좀 다르다. 기존 IT 환경과 데이터가 있는 경우, 빅데이터 업무 전환 단계를 거쳐야 하는데 신한 AI는 이 과정이 없이 하둡 환경에서부터 출발했다. 시작부터 빅데이터, 첨단 분석, AI를 전제로 데이터 플랫폼 환경을 구축한 것이다.
신한 AI가 목표로 삼은 시스템은 개방형 분석 플랫폼이다. 여기서 말하는 개방형은 분석가들이 전문 지식이나 사전 훈련 없이 자신이 원하는 분석 환경을 구성해 활용할 수 있는 것을 의미한다. IT 부서에 일일이 요청하지 않고 셀프서비스 방식으로 원하는 환경을 즉시 마련해 분석을 수행할 수 있는 개방성을 원한 것이다.
이를 구현하기 위해 신한 AI는 CDSW(Cloudera Data Science Workbench)를 도입했다. CDSW는 데이터 분석가와 데이터 과학자가 스스로 분석 파이프라인을 관리할 수 있는 환경으로, 빅데이터 플랫폼과 개발 도구 및 환경에서 분석과 머신러닝 프로젝트를 가속하기 위한 목적으로 많은 조직에서 도입해 운영하고 있다.
CDSW 적용 후 신한 AI는 분석과 머신러닝 프로젝트 가속의 이점을 체감하고 있다. 이는 데이터 분석가와 IT 운영자 모두가 느끼는 혜택이다. 데이터 과학자는 웹 UI 환경에서 자원을 스스로 할당할 수 있기 때문에 머신러닝과 딥러닝 프로젝트 실행 환경을 매우 빠르고 편리하게 생성해 작업을 할 수 있다. 셀프서비스 방식이다 보니 자원 확보를 위한 여러 가지 절차가 필요하지 않다.
또한, 주피터(Jupyter), R 스튜디오(R Studio), 파이참(PyCharm) 등 데이터 과학자가 평소 익숙하게 사용하는 편집 도구에서 CDSW 프로젝트 파일에 직접 접근할 수 있어 편의성이 매우 높다.
IT 운영자가 느끼는 편의성은 크게 지원과 운영 측면으로 나누어 볼 수 있다. 지원의 경우 셀프서비스 방식이다 보니 일일이 사용자 요청에 대응할 일이 없다. 자원을 템플릿 형태로 구성해 놓으면 이를 사용자가 선택해 쓰면 된다. 웹 UI가 직관적이라 별다른 사용자 교육도 필요하지 않다. 운영 측면에서는 확장이 간편하다는 것과 커버로스(Kerberos) 인증 적용이 쉽다. 전반적으로 운영 난이도가 높지 않아 IT 운영자 역시 사용자와 마찬가지로 오랜 시간 교육을 받지 않아도 직관적으로 운영할 수 있다.
신한 AI와 같은 신생 기업은 소수의 인원으로 다양한 업무를 수행해야 한다. CDSW는 시간, 비용, 인력 투입에 대한 고민의 해결책이었다. 신한 AI는 빅데이터 플랫폼, 개발 환경 등의 연계와 통합에 대한 고민을 할 필요가 없었다. CDSW 하나로 데이터 과학자는 셀프서비스 기반으로 자원을 활용할 수 있고, IT 운영자는 사내에서 진행하는 프로젝트 전반에 대한 보안과 거버넌스를 강화하는 한편 불필요한 지원과 관리 시간을 줄일 수 있었다.
신한 AI는 자원 활용 효율을 높이는 가운데, 현업 사용자가 더 쾌적하게 프로젝트를 진행할 수 있도록 병렬 분산 처리가 가능한 아키텍처로 시스템을 구축하고, 여기에 CDSW를 더해 분석과 머신러닝, 딥러닝 프로젝트 전반을 가속하는 것을 목표로 삼고 있다.
AI 기반 금융 서비스 시대를 열다
신한 AI는 국내 금융지주회사 최초의 인공지능(AI) 자회사로 설립됐다. AI 기술을 활용해 자산 배분, 상품 추천 등 다양한 투자 자문 서비스를 제공하며 새로운 차원의 금융 서비스 시대를 열고 있다. 신한 AI의 사업 기반이자 핵심 자산은 데이터이다.
신한 AI는 글로벌 정보 제공업체에서 받은 데이터와 크롤링을 통해 수집한 데이터를 대상으로 첨단 분석을 수행한다. 2,000만 건의 비정형 데이터는 IBM 왓슨(Watson)을 이용하고 정형 데이터 43만 건은 강화학습 기반의 자체 모델로 분석한다. 이렇게 분석한 정보는 NEO라는 AI 기반 투자 자문 서비스로 제공된다. 신한 AI는 NEO 외에도 시장 급락 원인을 탐지해 알려주는 마켓워닝 시스템 서비스도 제공하고 있다.
시작부터 개방형 분석 플랫폼 구축
신한 AI는 신생 기업이다 보니 빅데이터 플랫폼 구축과 운영 접근이 좀 다르다. 기존 IT 환경과 데이터가 있는 경우, 빅데이터 업무 전환 단계를 거쳐야 하는데 신한 AI는 이 과정이 없이 하둡 환경에서부터 출발했다. 시작부터 빅데이터, 첨단 분석, AI를 전제로 데이터 플랫폼 환경을 구축한 것이다.
신한 AI가 목표로 삼은 시스템은 개방형 분석 플랫폼이다. 여기서 말하는 개방형은 분석가들이 전문 지식이나 사전 훈련 없이 자신이 원하는 분석 환경을 구성해 활용할 수 있는 것을 의미한다. IT 부서에 일일이 요청하지 않고 셀프서비스 방식으로 원하는 환경을 즉시 마련해 분석을 수행할 수 있는 개방성을 원한 것이다.
이를 구현하기 위해 신한 AI는 CDSW(Cloudera Data Science Workbench)를 도입했다. CDSW는 데이터 분석가와 데이터 과학자가 스스로 분석 파이프라인을 관리할 수 있는 환경으로, 빅데이터 플랫폼과 개발 도구 및 환경에서 분석과 머신러닝 프로젝트를 가속하기 위한 목적으로 많은 조직에서 도입해 운영하고 있다.
사용자와 관리자 모두의 편의성 높아져
CDSW 적용 후 신한 AI는 분석과 머신러닝 프로젝트 가속의 이점을 체감하고 있다. 이는 데이터 분석가와 IT 운영자 모두가 느끼는 혜택이다. 데이터 과학자는 웹 UI 환경에서 자원을 스스로 할당할 수 있기 때문에 머신러닝과 딥러닝 프로젝트 실행 환경을 매우 빠르고 편리하게 생성해 작업을 할 수 있다. 셀프서비스 방식이다 보니 자원 확보를 위한 여러 가지 절차가 필요하지 않다.또한, 주피터(Jupyter), R 스튜디오(R Studio), 파이참(PyCharm) 등 데이터 과학자가 평소 익숙하게 사용하는 편집 도구에서 CDSW 프로젝트 파일에 직접 접근할 수 있어 편의성이 매우 높다.
IT 운영자가 느끼는 편의성은 크게 지원과 운영 측면으로 나누어 볼 수 있다. 지원의 경우 셀프서비스 방식이다 보니 일일이 사용자 요청에 대응할 일이 없다. 자원을 템플릿 형태로 구성해 놓으면 이를 사용자가 선택해 쓰면 된다. 웹 UI가 직관적이라 별다른 사용자 교육도 필요하지 않다. 운영 측면에서는 확장이 간편하다는 것과 커버로스(Kerberos) 인증 적용이 쉽다. 전반적으로 운영 난이도가 높지 않아 IT 운영자 역시 사용자와 마찬가지로 오랜 시간 교육을 받지 않아도 직관적으로 운영할 수 있다.
병렬 분산 처리가 가능한 아키텍처
신한 AI와 같은 신생 기업은 소수의 인원으로 다양한 업무를 수행해야 한다. CDSW는 시간, 비용, 인력 투입에 대한 고민의 해결책이었다. 신한 AI는 빅데이터 플랫폼, 개발 환경 등의 연계와 통합에 대한 고민을 할 필요가 없었다. CDSW 하나로 데이터 과학자는 셀프서비스 기반으로 자원을 활용할 수 있고, IT 운영자는 사내에서 진행하는 프로젝트 전반에 대한 보안과 거버넌스를 강화하는 한편 불필요한 지원과 관리 시간을 줄일 수 있었다.신한 AI는 자원 활용 효율을 높이는 가운데, 현업 사용자가 더 쾌적하게 프로젝트를 진행할 수 있도록 병렬 분산 처리가 가능한 아키텍처로 시스템을 구축하고, 여기에 CDSW를 더해 분석과 머신러닝, 딥러닝 프로젝트 전반을 가속하는 것을 목표로 삼고 있다.
Tags
추천기사
