빅데이터, 10가지 흔한 오해와 착각

미신 7: 빅데이터는 곧 하둡(Hadoop)이다
유명한 비 구조적 데이터 용 오픈소스 데이터베이스인 하둡이 요즘 들어 엄청난 관심을 받고 있다. 하지만 하둡 말고도 다른 선택지도 있다.

“NoSQL도 요즘 새롭게 떠오르고 있다. 그 밖에도 몽고DB, 카산드라(Cassandra)등 다양한 기술이 존재한다”고 SAP 빅데이터(SAP Big Data)의 상무이자 총 관리자인 어펀 칸은 말했다.

빅데이터 프로젝트에 따라 이들 가운데 다른 기술보다 더 잘 맞는 기술이 있을 수도 있다. 특히 하둡은 데이터를 여러 덩어리로 나누어 여러 개의 데이터 덩어리에서 동시에 작업하는 방식인데 이런 접근 방식이 여러 가지 빅데이터 문제를 해결해 주기는 하지만 만능은 아니다.

빅데이터 컨설팅 업체 루시드 웍스(LucidWorks)의 CTO 그랜트 아인어솔은 “얀(YARN)과 하둡 2가 이런 문제를 어느 정도 해결하긴 하지만, 가끔은 하둡만으론 깔끔하게 해결이 안 되는 상황도 발생한다”고 전했다.

미신 8: 최종사용자가 빅데이터에 직접적으로 액세스 할 필요가 없다
다양한 종류의 소스로부터 빅데이터의 도입이 빠른 속도로, 그리고 큰 규모로 이루어 지면서 빅데이터는 일반 직원들이 다루기엔 너무 먼 존재로 느껴지는 것이 사실이다. 하지만 반드시 꼭 그런 것만은 아니다.

병원의 집중 치료실 기기에서 발생한 데이터를 예로 들어보자. 심장 박동수, 호흡, EKG 수치 등. 그러나 의사나 간호사는 환자의 병실에 있을 때 그 당시의 수치만 보고 상태를 판단하게 된다.

“10분 전 환자 상태가 어땠는지를 볼 수도 없고, 앞으로 1시간 후 환자 상태가 어떻게 바뀔지에 대한 짐작도 하기 어렵다”고 필립스 헬스케어의 의료 정보 및 환자 보호의 최고 마케팅 경영자 앤써니 존스는 말했다.

의료진들이 환자의 과거 기록들을 즉시 볼 수 있게 되면 의사 결정을 내릴 때에도 매우 유용할 수 있다. “핵심 데이터 과학에만 목 메는 사람들은 큰 기회를 놓치는 것”이라고 존스는 말했다.

오늘날 해결 과제는 서로 다른 플랫폼과 운영 체제, 프로그래밍 언어를 사용하는 기기들이 서로 의사소통을 할 수 있도록 하는 것이다. 그것이 가능해 지면 의사나 간호사들이 필요할 때 바로 바로 지난 데이터를 활용할 수 있도록 만들어야 한다.

미신 9: 빅데이터는 큰 문제를 위한 것이다
버스트 CEO 피터스에 따르면, 최근 최종사용자의 셀프 서비스에 대한 질문을 받은 한 대형 은행의 CIO는 이 문제에 대해 “그리 유용하게 생각하지 않는다”고 말했다.

이런 태도를 가진 사람은 생각보다 흔하다. 특히 일부 경영진들의 경우 빅데이터가 활용되는 곳은 따로 정해져 있다고 생각하기도 한다고 피터스는 설명했다. 즉 이들의 태도를 요약해 보면 다음과 같다.

“빅데이터는 데이터 과학자들이 소수의, 고가치 문제 해결을 위해 사용하는 것이다. 우리는 보통 사람들도 정보에 액세스가 가능해지면서 데이터 카오스가 발생하는 것을 원하지 않는다. 이들에게 빅데이터는 필요하지 않다.”

그러나 피터스는 이런 의견에 동의하지 않았다고 강조했다. 그는 “거대 보험회사들 사이에서는 현업 최종사용자들이 빅데이터를 이용할 만큼 똑똑하지 않다는 생각이 만연해 있다”라고 말했다.

미신 10. 빅데이터 거품, 언젠가는 없어질 것이다
물론 유행은 오고 가는 것이지만, 혁신적인 기술은 유행과 상관 없이 주류로 자리잡는다. 한참 불던 ‘닷컴’ 열풍이 인터넷의 종말을 가져오지 않았듯 말이다.

빅데이터 유행이 지나간 이후에도 기업들은 빅데이터를 필요로 할 것이다. 오히려 기하급수적 성장으로 인해 이전보다 훨씬 더 많이 필요로 할 지도 모른다. IDC는 2020년까지 2년마다 수집되는 데이터 양이 2배씩 증가할 것이라는 예측을 내놓기도 했다.

게다가 단순히 현재 수집중인 것들을 더 많이 수집하는 것에서 그치지 않는다. 새로운 종류의 데이터가 나타나면서 더 거대한 데이터 저장 용량을 필요로 할 것이다.

필립스 헬스케어의 의료 정보 및 환자 보호(Patient Care & Clinical Informatics) 최고 마케팅 경영자 앤써니 존스는 “병원 측에서 모든 입원 환자의 유전자 지도를 그릴 수 있는 세상이 오게 될 것이다. 이를 통해 각 환자에게 맞게 커스터마이징 된 진료를 받을 수 있다. 게다가 빅데이터는 정말 거대한 분량의 데이터다. 그런데 많은 CIO들이 이를 잘 인지하지 못하고 있는 것 같다”라고 말했다.

‘빅데이터’를 단순히 하나의 유행하는 용어로 생각하는 기업들은 앞으로 자신들의 기업에 큰 영향을 미칠 수 있는 데이터 요소를 눈뜨고 놓쳐버릴 수도 있다고 필라델피아의 킹 오브 프러시아(King of Prussia) 인터랙티브 마케팅 에이전시인 캐디언트 그룹(Cadient Group)의 CTO 브라이언 힐은 지적했다.

그는 “‘빅데이터’라는 용어 자체는 변할 수도 있다. 웹이나 인터넷과 별 차이가 없는 클라우드 컴퓨팅이라는 용어가 생겨났던 것처럼 말이다. 그러나 용어는 변할지언정 빅데이터의 개념은 주류 기술로서 오래도록 지속될 것이다”라고 말했다. ciokr@idg.co.kr