Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.

빅 데이터

대다수 기업들 "아직 빅 데이터 계획 없다"

255명의 고위급 IT관리자와 스토리지 운영자들을 대상으로 한 조사에서 이들이 빅 데이터 분석을 사용할 계획이 없으며 파이버 채널 드라이브 덕분에 더 이상 기업용 스토리지를 대량으로 구매할 필요가 없게 됐다고 나타났다.   시장 조사 기관 더인포프로(TheInfoPro)가 이번에 진행한 데이터 스토리지 관련 설문에 따르면, 대다수의 고위 IT관리자와 데이터 스토리지 전문가들이 빅 데이터 분석 도입 계획이 없는 것으로 나타났다.   225 명의 IT 전문가들을 대상으로 진행한 이번 설문에서 응답자의 56%는 자신들의 기업이 2013년 이후에도 빅 데이터 분석 애플리케이션 도입을 추진하지 않을 것이라 밝혔다. 이번 설문에 참여한 응답자 중 절반은 데이터 스토리지 전문 애널리스트들이었고, 나머지 절반은 IT관리자, 부사장, CIO 등의 관리 집단에서 모집됐다.   더인포프로의 클라우드 컴퓨팅 실행(Cloud Computing Practice) 사업부 매니징 디렉터 마르코 콜터는 많은 설문 응답자들이 하둡을 비롯한 빅 데이터 분석 소프트웨어들에 냉담한 반응을 보이는 이유로 적절한 사례의 부재를 꼽았다. 그들은 이의 필요성을 느끼지 못했던 것이다.   빅 데이터 솔루션 도입 시기   콜터는 “예를 들어, IT 담당자가 여러 비즈니스 유닛들을 돌아 다니며 빅 데이터 어플리케이션에 대한 수요를 조사한다고 생각해보자. 하둡과 같은 것들 말이다. 그런데 기업 전체를 돌아다녀도 아무도 손을 들지 않는다면, 다시 말해 적절한 사례나 애플리케이션을 발견하지 못한다면, 그 테크놀로지가 무슨 소용이란 말인가?”라고 설명했다.   그러나 금융 서비스 산업과 의료 산업에서는 빅 데이터 분석이 효력을 발휘할 것이라 콜터는 말했다. 이를 통해 수집 되는 막대한 양의 데이터를 트렌드 분석과 베스트 프랙티스(best practi...

HP IBM 스토리지 2012.08.01

“이 없으면 잇몸” 하둡 인력 채용 어려우면 전문 협력사로

대기업들의 하둡 수요가 관련 IT인력 채용을 앞지르고 있다. 이러한 격차를 메우기 위해 많은 기업들이 하둡 컨설팅, 소프트웨어 개발, 서비스 교육을 모두 제공할 수 있는 협력사를 찾는 방향으로 선회하고 있다.   기업들의 하둡 도입이 급증하고 있지만, 이를 구축하고 유지보수할 수 있는 IT인력들을 제대로 확보하지 못하고 있다. 지난 5월 IDC는 전체 하둡 소프트웨어 시장이 연평균 60% 이상 증가해 2011년 7,700만 달러에서 2016년 8억 1,280만 달러로 성장할 것으로 전망했다.   아파치 재단의 하둡 분산형 컴퓨팅 기술은 초기에 검색 엔진에서 사용됐다. 야후가 지난 2008년 최대 규모의 하둡 생산 애플리케이션을 천명하면서 해당 소프트웨어에 이목이 집중됐다. 이 오픈소스 소프트웨어는 그 이후로 얼리 어답터를 넘어 널리 확산됐다. 클라우데라(Cloudera)는 2009년에 자사의 하둡 배포판을 공개했으며 호튼웍스(Hortonworks) 와 맵알 테크놀로지스(MapR Technologies) 등이 그 뒤를 이었다.   하둡이 출판부터 농업에 이르기까지 광범위한 산업 분야로 진출하면서 IT 부서들은 하둡 역량의 공백을 메우기 위해 하둡 구축 업체 및 전문 컨설팅 기업을 찾고 있다. CIO와 IT 관리자들은 프로젝트를 시작하고, 코드를 작성하며 하둡의 생태계를 전반적으로 살피기 위해 외부의 도움을 구하고 있다. 또한 IT부서들은 자체 하둡 인력의 양성을 꾀하기 위해 교육을 위한 채널 파트너(Channel Partner)를 활용하고 있다.   기업들은 하둡 전문가를 고용할 때 인력 보충 및 교육에 대해서 선택권을 행사할 수 있다.   셔터플라이(Shutterfly)의 CIO 지오프리 웨버는 "간단히 말해 하둡 인력 공급이 부족하다"는 말로 하둡 전문가의 부족 현상을 설명했다. "현실적으로 말해서, 우리 같은 기업이...

하둡 빅 데이터 2012.07.30

IDC, 소프트웨어 시장 매출액 14.1% 성장

IDC(www.idc.com)의 최근 연구조사에 따르면, 지난해 세계 비즈니스 분석 소프트웨어 시장이 매출액 기준으로 전년대비 14.1%의 높은 성장률을 기록하며 317억달러에 이른 것으로 나타났다. IDC는 이 시장이 2016년까지 연평균 9.8%로 성장하며 507억 달러 규모에 달할 것으로 전망하고 있다. 빅데이터에 쏠리고 있는 미디어의 관심으로 인해 기업 고위 임원진의 고려항목에서 비즈니스 분석이 차지하는 비중이 확대되고 있다. 뿐만 아니라, 비관계형(non-relational) 데이터 관리 기술에 기반한 새로운 비즈니스 분석 소프트웨어에 대한 수요로 인해 관련 업체들은  자체적인 연구개발 노력은 물론, 새로운 툴과 애플리케이션에 중점을 둔 기업 인수, 신기술 및 기존 기술간의 통합 등에 박차를 가하고 있다. IDC에서 비즈니스 분석 소프트웨어 연구부문을 총괄하는 댄 베셋 부사장은 “빅데이터에 집중된 관심과 더불어 30여년에 걸친 기술 및 베스트 프랙티스(best practice)의 점진적이고도 혁명적인 발전으로 인해 비즈니스 분석 소프트웨어 시장은 캐즘(chasm) 단계를 지나 주류 매스마켓(mass market)으로 진입했다”며, “그러나, 비즈니스 분석 솔루션에 대한 수요가 증가하면서 고도로 숙련된 IT 및 분석 전문 인력이 부족하다는 점이 문제점으로 부각되고 있다”고 덧붙였다. 비즈니스 분석 소프트웨어 시장을 세가지 주요 부문으로 나누어 살펴보면, 2011년 데이터 웨어하우징 플랫폼 소프트웨어(data warehousing platform software) 부문이 전년대비 15.2%의 성장률로 가장 빠른 성장세를 보였고, 분석 애플리케이션(analytic applications) 부문은 13.3%, BI 및 분석툴(BI and analytic tools) 부문은 13.2% 성장한 것으로 조사됐다. 비즈니스 분석에 대한 이해도가 낮았던 많은 기업들이 비...

소프트웨어 idc 빅 데이터 2012.07.19

'논의에서 현실로' 빅 데이터 구체화 7단계

‘빅 데이터’ 트렌드는 점점 더 증가하는 대규모 데이터 프로세스에 대한 요구를 대변한다. 또한 이는 우리에게 기존과는 다른 데이터베이스 관련 테크놀로지 솔루션을 요구하고 있기도 하다. 그렇다면, 빅 데이터 속으로 뛰어들기 위해 기업들은 어떤 것들을 따져봐야 할까?   우선, 그들은 빅 데이터가 무엇인지부터 알아야 할 것이다. 여기 간단한 정의를 소개한다.   ‘막대한 양의 정형, 비정형 데이터를 보다 빠르고 경제적으로 수집, 처리, 발견, 저장하는 새로운 테크놀로지 및 방법론'   IT 분야에서 빅 데이터와 관련한 연구는 점점 더 활발히 진행되고 있다. 그리고 논의 대부분은 스택과 프로세싱 속도, 그리고 플랫폼에 초점이 맞춰져 있다.   기업들은 이러한 과정을 진행하는데 기존의 기술만으로는 한계가 있음을 정확히 인식하고 있다. 그러나 동시에 비즈니스에 이를 대체할 솔루션의 가치를 설명하는 것은커녕 자신들이 확인한 데이터를 분류하고 이들 사이에 우선순위를 설정할 방법을 이해하는 데에도 어려움을 겪고 있다. 빅 데이터 관리의 세계 속으로 들어가 보자.   사실 빅 데이터의 필요성 증대를 논하는 과정에서 플랫폼이나 프로세스에 관한 논의는, 전반적인 빅 데이터 전달에 접근하는 과정의 일부분에 불과하다. 여기 빅 데이터 개발 노력이 어떤 잠재력을 지니고 있는지 확인시켜 줄 일곱 단계를 소개한다.   수집: 데이터 소스들로부터 수집 된 데이터는 복수의 노드(nod)로 분배 되며 각각의 노드는 데이터 서브셋(data subset)을 병렬로 처리한다.   처리: 시스템 역시 마찬가지로 고성능의 병렬성(parallelism)을 통해 각 노드의 데이터를 고속으로 계산한다. 노드들은 산출된 결과 데이터를 인간(애널리틱스)과 기계(대용량 결과 해석) 모두가 사용할 수 있는 보다 활용...

빅 데이터 데이터플러스 2012.07.16

‘양날의 검, 데이터’ 더 나은 관리를 위한 5단계

시만텍의 최신 보고서에 따르면 기업들이 저장한 데이터는 현재 2.2제타바이트에 이르는 것으로 추정되며 지금 이 순간에도 빠르게 증가하고 있다. 방대한 데이터를 제어하고 이용하기 위해서는 기기나 데이터센터가 아닌, 데이터 관리 자체에 초점을 맞출 필요가 있다.     스토리지에 쌓여 있는 데이터 모두를 이해하고 있는가? 그렇다면, 이를 활용할 준비가 되어 있는가?   시만텍의 새 보고서에 따르면 기업들이 저장하고 있는 정보의 총 규모는 2.2 제타바이트(zettabyte)에 이르는 것으로 나타났다. 대기업들의 평균 정보 저장량은 10만 테라바이트 규모였고, 중소기업들에서의 저장 규모는 563 테라바이트 수준이었다. 또한 내년까지 대기업의 경우 67%, 그리고 중소기업의 경우 178%의 성장세을 보일 전망이다.     이 막대한 수치를 실감나게 이해하기란 어려울 것이다. 그렇다면 이렇게 생각해 보자. 10KB의 정보는 한 장의 종이를 텍스트로 채우는 양과 같다. 그렇다면 100만 테라바이트는? 이 정도 규모의 텍스트를 종이에 기록해 쌓아 올린다면, 그 높이는 엠파이어 스테이트 빌딩(443.18 미터)와 맞먹을 것이다. 그리고 2.2 제타바이트의 데이터라면, 엠파이어 스테이트 빌딩 1,287채의 높이, 다시 말해 약 602 킬로미터에 달한다   시만텍 정보 관리 그룹의 선임 부사장 C.J. 데사이는 “정보가 기업 운용의 핵심으로 자리 잡고 있다. 정보는 매우 빠른 속도로 증가하고 있으며 기업들에게는 이러한 성장이 일어나는 지점과 그 방식에 대한, 그리고 그것의 원인에 대한 이해의 필요성이 제기되고 있다”라고 말했다.   데사이는 금융 서비스 기업에서 근무하는 20년 경력의 베테랑 IT 매니저의 말을 빌려 현재 기업들이 하루에 저장하는 데이터의 규모는 90년대의 연간 저장 데이터 규모를 상회하고 있다고 말했다. ...

관리 BI 중복제거 2012.07.10

영국 정부, 빅 데이터로 연간 330억 파운드 절감 가능

빅 데이터를 효과적으로 사용하면 인구 통계 조사 비용을 줄이고 세금 시스템에서 사기를 식별할 수 있다.   영국 대외정책연구원(Policy Exchange)에 따르면, 영국 정부가 빅 데이터를 공공 분야에 효과적으로 사용하면 국민당 500파운드에 해당하는 연간 330억 파운드를 절감할 수 있다.   대외정책연구원은 데이터 분석 전문 업체 데이터포스(Data Force)가 탈세와 복지 혜택 사기를 적발해 이러한 절감 효과를 얻을 수 있다고 밝혔다.   대외정책연구원의 보고서 ‘빅 데이터 기회(The Big Data Opportunity)’는 데이터, 기술, 분석을 좀더 잘 사용하면 정부가 서비스 수준을 낮추기보다는 효율을 높이면서 비용을 절감할 수 있다고 전했다.   이 보고서는 또한 앞으로 연간 160억~33억 파운드의 절감 효과를 얻을 수 있다고 덧붙였다. 이 비용 절감 효과의 근거는 다음과 같다.   -정부 부처의 일상적인 운영을 최적화하고 공공 부문의 생산성을 증대하기 위해 데이터를 사용함으로써 130억~220억 파운드 절감   -복지 혜택 사기와 시스템 오류를 줄임으로써 10억~30억 파운드 절감   -세금 체납 정보를 수집함으로써 20억~80억 파운드 절감   대외정책연구원은 영국통계청(Office for National Statistics)이 인구 조사를 폐지하고 대신 영국 인구를 추정하기 위해 기존의 정부 데이터 자료를 결합하는 것만으로 5억 파운드을 절감할 수 있다고 밝혔다. ciokr@idg.co.kr

비용 절감 빅 데이터 영국 정부 2012.07.10

빅 데이터에 입문한 기업들에게 필요한 것은? 'BI와 BA'

기업들이 앞다퉈 빅 데이터라는 정보의 망망대해로 뛰어들고 있다. 빅 데이터 세계에 입문한 기업들에게 현재 필요한 것은 이것을 분석하고 유의미한 지식을 뽑아낼 수 있는 BI와 BA다.   비즈니스 데이터의 급격한 확장세가 유럽, 특히 영국의 벽 앞에서는 주춤하고 있다. 이러한 현상은 영국의 비즈니스 애널리틱스 현황을 연구한 에버딘그룹(Aberdeen Group)의 ‘비즈니스 인사이트로의 데이터 전환(Transforming Data into Business Insight)’ 보고서를 통해서도 확인할 수 있다.   하지만 골치 아프다는 이유만으로 외면하기엔 이 새롭고 복잡한, 그리고 다양한 데이터 셋이 기업들에 제공하는 잠재적 비즈니스 가치가 너무 크지 않은가? 다음의 세 단계를 따라 새로운 가치를 창출해 보자.   -기업 데이터 저장소에 적용할만한 가치가 있는 데이터 소스를 확인하라 -강력한 확장형 데이터 관리 기반을 설립하라 -데이터 상부에 새로운 분석 툴을 적용해 새로운 시각을 확보하라   2012년 1월 진행된 에버딘의 ‘BI를 위한 데이터 관리(Data Management for BI )’ 연구는 현재 5TB 이상의 비즈니스 데이터를 관리하며 공식적인 기업 수준의 빅 데이터 전략을 수립 중인 9개의 기업을 대상으로 진행됐다.   빅 데이터 확보에 나선 기업들 오늘날 데이터 관리에 요구되는 전략과 툴은 지속적인 개발이 진행되고 있으며 시장의 도입 추세 역시 증가하는 경향을 보이고 있다.   흥미로운 점은 빅 데이터 계획에 대중적으로 사용되는 대부분의 데이터 소스가 최소한의 데이터 발자국(data footprint)만을 가진다는 사실이다.   업무 정보와 같은 관련 데이터베이스 내 정형 데이터는 연간 36% 수준의 증가 폭을 보여주고 있...

BI 빅 데이터 BA 2012.07.09

팁코 CTO, "마스터 데이터 관리 없는 빅 데이터는 문제 있다"

팁코의 EMEA CTO 마크 다비셔에 따르면, 마스터 데이터 관리(Master data management)는 빅 데이터 과제를 해결하는데 필수적이다.    마스터 데이터 관리는 비즈니스 운영에서 필수적인 정보인 모든 마스터 데이터에 대한 하나의 완전한 뷰를 제공해 필수적인 전략과 프로세스 수립에 도움을 준다.    이번주 영국 런던에서 개최된 팁코의 트랜스폼 컨퍼런스에서 다비셔는 "좀더 나은 데이터 관리는 기업들이 엄청난 양의 데이터를 청소하는데 도와줄 수 있다"고 말했다.    다비셔는 "최근 몇몇 은행과 함께 마스터 데이터 관리와 빅 데이터 계획에 대해 얘기를 나눈 적이 있다. 마스터 데이터 관리 없이는, 빅 데이터는 실제로 증가하는 데이터로 인해 문제가 되고 있다"고 언급했다.    마스터 데이터 관리는 중복(duplication)을 청소하고, 이해하고, 제거하는데 도와주며, 실제 그 데이터를 비즈니스에 일반화 할 수 있다.   추가적으로 그는 "이는 데이터 웨어하우스에 있는 데이터가 어떤 것인지 알게끔 해주는데 도와줄 수 있다"고 말했다.    그는 "많은 고객들을 지켜 본 바로 그들은 다른 제품과 함께 마스터 데이터 관리와 결합하길 원한다. 그들은 통합 기술과 함께 마스터 데이터 관리를 결합하기를 원한다. 그래서 애플리케이션들은 각기 다른 데이터를 이해할 수 있다"고 말했다.    팁코는 기업들이 실시간 통찰력을 가질 수 있도록 하는 애플리케이션들에 대한 마스터 데이터에 툴을 개발하고 있다. editor@itworld.co.kr

팁코 MDM 빅 데이터 2012.06.28

효성인포메이션시스템, 엔에프랩과 전략적 제휴로 국내 빅데이터 시장 공략

효성인포메이션시스템(www.his21.co.kr)은 빅데이터 솔루션 전문업체인 엔에프랩(www.nflabs.com)과 빅데이터 어플라이언스 제품의 공동 개발 및 영업을 위한 전략적 업무 제휴 협약을 체결했다고 밝혔다. 효성인포메이션시스템과 엔에프랩은 협력을 통해, 데이터 저장과 수집, 분석을 위한 플랫폼인 빅데이터 어플라이언스를 양사의 전략 제품으로 공동 개발하고, 긴밀한 협조를 통해 시장 공략을 위한 공동 마케팅 및 영업을 진행할 계획이다. 효성인포메이션시스템과 엔에프랩은 빅데이터 시장을 리딩해 데이터 저장과 수집 그리고 분석을 위한 플랫폼(빅데이터 어플라이언스)을 고객이 쉽게 적용할 수 있도록 제품을 출시하고 이를 전략 제품군으로 확보하고자 이번 협약을 추진하게 됐다. 또한 현재 국내에는 빅데이터 어플라이언스가 출시되지 않아 해외 업체에 의존해야만 했는데, 이번 전략적 제휴를 통해 국내 빅데이터 어플라이언스 제품을 출시한다는 것에 큰 의미가 있다 이번 전략적 제휴로 엔에프랩의 빅데이터 플랫폼인 ‘팰로톤(Peloton)’과 효성인포메이션시스템의 빅데이터용 스토리지를 결합시킨 빅데이터 어플라이언스를 출시함으로써, 국내 고객의 요구 사항을 최대한 반영한 제품을 시장에 공급할 수 있을 것으로 기대하고 있다.   이와 함께 클라우드 스토리지 패키지와 빅데이터 분석 제품을 추가적으로 개발해 빅데이터 시장에서 경쟁력을 갖추기 위한 제품군을 구비하고, 국내 시장은 물론 해외 시장 공략에도 적극 나설 계획이다. 효성인포메이션시스템 양정규 대표는 “자사는 빅데이터 관리를 위한 최상의 스토리지 제품군을 보유하고 있다”며, “이번 양사의 협력을 바탕으로, 스토리지와 솔루션을 결합시킨 빅데이터 어플라이언스를 개발하고 이를 국내외 시장에 공급하는데 주력할 계획”이라고 말했다. editor@itworld.co.kr

효성인포메이션시스템 빅 데이터 엔에프랩 2012.06.18

IBM, 빅 데이터 지원하는 스마터 컴퓨팅 솔루션 강화

IBM은 최근 빅 데이터의 핵심 엔진인 스토리지와 테크니컬 컴퓨팅 시스템의 성능과 효율성을 높일 다양한 종류의 업그레이드 솔루션을 발표, IBM이 제공해 온 스마터 컴퓨팅 솔루션을 대폭 확장했다. 이번에 IBM이 발표한 스마터 컴퓨팅 솔루션에는 자동화와 인텔리전스를 갖춘 스토리지 인프라스트럭처를 설계하고 관리하는 새로운 전략적 접근법은 물론 핵심 스토리지 시스템 및 티볼리 스토리지 프로덕티비티 센터(Tivoli Storage Productivity Center) 스위트에 대한 성능 업그레이드도 포함돼 있다. 또한 IBM은 올 초 인수한 플랫폼컴퓨팅의 소프트웨어를 통합한 첫번째 제품군도 함께 출시했다. 이 제품은 다양한 분야의 기업 고객들을 대상으로 테크니컬 컴퓨팅의 사용을 촉진시키고, 기업 데이터의 처리를 더욱 원활하게 한다. 방대한 양의 컴퓨터 자원을 소모하는 기존 애플리케이션을 더욱 빠르게 구동할 수 있도록 지원한다. 로드 애드킨스 IBM STG 총괄 부사장은 기업이 축적하는 데이터는 그 양 뿐만 아니라 형식에 있어서도 복잡성을 더해가고 있다”며, “이번 시스템 및 스토리지 솔루션 성능 업그레이드를 통해 빅 데이터를 감당할 수 있는 수준의 성능과 효율성 그리고 인텔리전트한 컴퓨팅 능력을 갖출 수 있고, 이를 통해 방대한 데이터를 분석, 체계화해 고객을 더욱 잘 이해하고, 나아가 더 나은 서비스를 제공할 수 있게 될 것”이라고 말했다. editor@itworld.co.kr

IBM 빅 데이터 스마터 컴퓨팅 솔루션 2012.06.08

빅 데이터 시대의 오픈 소스 검색 '뜬다'

데이터의 규모가 폭발적으로 증가하면서 오픈 소스 검색 애플리케이션이 기업 시장을 향해 전진하고 있다.   트위터, 페이스북, 국회 도서관 등 모든 기관들은 신속하게 색인 처리하고 검색해야 하는 구조화된 또는 비 구조화된 엄청난 양의 데이터를 보유하고 있다. 트위터의 경우, 매일 3억 개의 새로운 정보를 색인 처리해야 한다.   따라서 이런 기관들이 단순히 비용 절감을 위해서가 아니라 애플리케이션을 신속하게 수정할 수 있는 능력을 위해 길들여지지 않은 오픈 소스 검색의 세계로 뛰어드는 것은 당연하다고 생각한다. 또한 오픈 소스는 관련된 문제를 해결하는데 도움이 되는 활동적인 커뮤니티를 보유하고 있다.   그렇다면 다른 기업 사용자는 어떨까? 가트너에 따르면 현재 일반적인 기업에서 텍스트, 이메일, 블로그, 비디오 등 정보의 80% 정도가 비 구조화되어 있으며 그 비율이 증가하고 있다.    이 모든 데이터는 잠재적으로 값을 갖고 있으며 현재 모든 웹 사이트는 최고의 인터넷 검색 엔진만큼 빨리 관련 데이터를 찾고 생성할 수 있는 것으로 생각된다.    가트너 애널리스트 위트 앤드류스는 "사람들은 현재 컴퓨터로 하는 모든 것에서 검색 기술을 필요로 한다. 다들 검색 기능은 모든 것에 내재될 것이라고 생각한다"고 말했다.    현재 대부분의 기관들은 일반적으로 SQL 쿼리나 구체적인 형태 또는 보고서에 기반한 극히 제한적인 검색 능력을 갖고 있다. 앤드류스는 "이런 패러다임은 곧 깨질 것이다. 왜냐하면 데이터의 양이 엄청나기 때문이며, 이런 정보는 상시적인 환경에서 매우 빠르게 생성되고 있다"고 설명했다.   오픈 소스 검색, 빅 데이터 검색에서 필수  거의 모든 기업들이 구조화되거나 구조화되지 않은 대규모의 데이터를 살펴보기 위...

빅 데이터 오픈 소스 검색 루센 2012.05.11

구글 빅 쿼리, 마침내 문호 개방

구글의 빅 쿼리(BigQuery)가 공식적으로 일반에게 공개됐다고 구글이 지난 1일 밝혔다. 빅 쿼리는 대용량 데이터 세트를 분석할 수 있도록 한 클라우드 기반의 서비스다.   구글에 따르면 빅 쿼리는 수 테라바이트의 데이터를 담은 수십 억 줄의 데이터 세트를 다룰 수 있도록 해주는 온라인 분석 프로세싱(OLAP) 시스템으로, 기업이 빅 데이터를 실시간으로 다룰 수 있도록 하는데 초점을 맞추고 있다.   빅 쿼리는 현재 웹 기반의 사용자 인터페이스, REST API, 커맨드 라인 도구 등 다양한 방법을 통해 이용할 수 있으며 데이터는 구글 빅 쿼리 서버에 CSV 형식으로 저장하게 된다.   이용 요금요금은 저장된 데이터 용량 및 쿼리 볼륨에 따라 달라진다. 자세한 정보는 관련 웹 페이지에서 찾아볼 수 있다.   구글에 따르면 몇몇 빅 쿼리 얼리 어답터들은 빅 쿼리 상에서 애플리케이션을 구축하기도 했다. 예를 들어 클래리틱스(Claritics)라는 기업은 게임 개발자들이 실시간으로 게이머 행동을 분석할 수 있도록 하는 도구를 개발했다.   빅 쿼리는 OLTP(online transaction processing) 업무를 위한 도구가 아니며 데이터 세트를 변형하는 용도에도 어울리지 않는다. 보다 전통적인 관계형 SQL 데이터베이스를 필요로 하는 기업들이라면 회사의 클라우드 기반 데이터베이스인 '구글 클라우드 SQL'이 적합하다고 구글측은 설명했다. 이 서비스는 풀 SQL 신택스와 테이블을 지원하기 때문이다.   빅 쿼리는 2년 전 구글 I/O 개발자 컨퍼런스에서 처음 공개됐으며 지난 해 11월 웹 기반의 UI가 추가되는 등 개선사항이 발표됐었다. ciokr@idg.co.kr

구글 빅 데이터 빅 쿼리 2012.05.02

빅 데이터를 위한 가장 좋은 저장 서비스는?

디스크 저장은 옷장과 공통점이 많다. 항상 공간이 부족하다 느껴진다는 점에서 말이다. 특히 빅 데이터(big data) 저장에 있어서 더욱 그러하다. 그 이름에서도 짐작할 수 있듯, 빅 데이터는 일반 스토리지 플랫폼이 감당하기 힘든 정도의 용량을 지니고 있다. 그렇다면 믿을 수 있는 정보는 적고 내려야 할 결정들은 많아 걱정만 가득한 CIO는 어떻게 해야 할까?   그러나, 어려워만 보이는 '빅 데이터에 알맞은 저장 공간 찾기'도 불가능한 일만은 아니다. 결국 이 문제는 문제에 대한 기초적인 이해와 약간의 상식, 그리고 예산상의 제약의 조합에 의해 결정되는 것이기 때문이다.   빅 데이터, 왜 중요한가 우선, 빅 데이터가 다른 종류의 데이터들과 어떻게 다르며, 빅 데이터와 관련된 기술들(주로 애널리틱스 애플리케이션)이 어떻게 작동하는 지 아는 것이 중요하다.    빅 데이터 그 자체로는 단순히 기존의 저장 기술로 저장할 수 없는 막대한 양의 데이터를 의미한다. 그러나 그것만으로는 빅 데이터를 완전히 이해한 것이 아니다.    빅 데이터는 테라바이트, 심지어는 페타바이트 수준의 정보를 의미하며 이런 정보들은 데이터베이스, 로그, SQL 등등의 구조적 데이터와 (소셜미디어, 센서, 멀티미디어 등의 비정형 데이터의 조합이기 때문이다. 게다가 대부분의 데이터들은 인덱스(index)나 기타 유기적인 구조를 갖추지 못했으며 다양한 종류의 파일들로 구성돼 있다.   이런 이유로, 빅 데이터를 다루는 일은 몹시 까다로운 작업이다. 일관성이 부족하기 때문에 기존의 정보 처리나 저장 기술은 옵션에서 제외되며, 방대한 데이터의 양 자체만으로도 보통 서버나 SAN 방식을 사용해 처리하는 것 역시 어려워지기 때문이다.    다시 말해, 빅 데이터는 새로운 처리 방식을 필요로 한다. 빅 데이터만의 플...

클라우드 스토리지 빅 데이터 저장 서비스 2012.04.30

빅 데이터의 이해 - IDG Tech Report

2012년 IT 최대 유행어를 얘기하라면 빅 데이터를 빼놓을 수 없다. 빅 데이터라는 단어가 나온 지는 얼마 되지 않았지만, 이미 거의 모든 IT 업체들이 관련 솔루션을 제시하고 있다. 마치 2000년대 초, CRM처럼 말이다. 특히 BI 업계를 필두로 빅 데이터를 이용할 수 있다면, 엄청난 비즈니스 기회를 가질 수 있다고 설파한다. 이 또한 CRM과 유사하다. 과연 빅 데이터가 CRM처럼 한때 지나가는 마케팅 용어에 불과한 것인지, 정말 새로운 비즈니스를 가져올 것인지 스스로 판단하는 시간을 가져보자.  주요 내용 - 빅 데이터란 무엇인가  - 데이터 증가 속도가 기술 발전을 능가  - 빅 데이터 기술, 3V 가운데 두 개는 충족해야  - 빅 데이터 인프라 기술, 하둡이 전부가 아니다  - 빅 데이터 효과는 CRM 효과와 유사?  - 빅 데이터에는 데이터 과학자가 필요하다 

빅 데이터 데이터 과학자 2012.04.26

하둡을 활용해 스토리지의 한계를 극복하는 방법

스토리지 기술은 발전하고 성숙해 많은 데이터센터에서 상품의 단계에 접근하는 수준에까지 이르렀다. 그럼에도 불구하고 기업들은 BI(Business Intelligence) 역량을 더욱 거대한 데이터 셋에 적용하는 빅 데이터 분석에 대한 압박 등 스토리지 기술의 한계에 직면할 수 있는 상황에 처해 있다.   하지만 빅 데이터의 분석 과정은 일반적으로 기존의 스토리지 패러다임을 넘어서는 역량을 필요로 한다. 쉽게 말해 SANs와 NAS 등의 전통적인 스토리지 기술은 기본적으로 구조화되지 않은 테라바이트(Terabyte)와 페타바이트(Petabyte) 수준의 정보를 처리할 수 없다는 뜻이다.   성공적인 빅 데이터 분석을 위해서는 대규모의 데이터를 처리할 수 있는 새로운 방법 등이 필요하다. 즉, 새로운 스토리지 플랫폼의 이데올로기가 필요하게 된 것이다.   하둡에 관심을 가져보자 빅 데이터를 처리할 수 있는 플랫폼을 제공하는 오픈 소스 프로젝트 하둡으로 들어가보자. 비록 하둡이 개발된 지는 시간이 꽤 흘렀지만 점차 많은 기업들이 이제 막 그 기능을 활용하기 시작했다.   하둡 플랫폼은 막대한 용량의 데이터 가운데서도 복잡하고 구조화되지 않았거나 구조화된 정보를 복합적으로 포함하고 있어 테이블에 적절히 배치되지 않는 데이터에 의해 발생하는 문제를 해결하도록 설계됐다. 하둡은 클러스터링(Clustering)과 타겟팅(Targeting)처럼 심오하고 계산적으로 대규모인 분석의 지원을 필요로 하는 상황에 적합하다.   그렇다면 빅 데이터를 활용하려는 IT 전문가에게 하둡은 어떤 의미를 가질까? 간단히 말하면 하둡은 막대한 용량의 데이터를 효율적으로 저장하고 접근함으로써 빅 데이터와 관련된 대부분의 보편적인 문제를 해결한다.   하둡의 고유한 디자인 덕분에 메모리 또는 디스크를 전혀 공유하지 않는 다수의 기기에서 작동할 수 있...

ETL 하둡 빅 데이터 2012.04.20

빅 데이터 해결사, 2012년 하둡의 현주소 - IDG Deep Dive

빅 데이터의 부상과 함께 하둡은 빅 데이터 처리의 핵심 엔진으로 초미의 관심사가 되고 있다. 기존 데이터베이스와 비교하면 그저 새싹에 불과한 하둡이지만, 가능성을 알아 본 많은 업체들이 하둡 지원에 발 벗고 나섰으며, 기업들 역시 하둡 도입을 적극적으로 검토하고 있다. 하지만 아직 하둡은 한창 성장하고 있는 기술인 만큼 장점 못지 않게 보완해야 할 점도 많고, 기업이 고려해야 할 점도 많다. 하둡의 특장점에서부터 기존 RDBMS와의 비용 분석, 하둡을 관리하기 위해 갖춰야 할 것, 하둡을 사용하는데 따르는 이익과 문제점, 주요 하둡 솔루션 등을 알아보면서 2012년 하둡의 현주소를 정리해 본다. 주요 내용 모든 산업을 바꿀 수 있는 잠재력, 빅 데이터의 힘 엔터프라이즈 IT를 설득한 하둡이 넘어야 할 벽  하둡과 RDBMS 비용 분석… '운영비용 3배 차이' 엔터프라이즈 하둡, 더 쉬워진 빅 데이터 처리 확장 가능한 프레임워크를 통한 빅 데이터 분석 과제 해결

하둡 빅 데이터 Hadoop 2012.04.13

EMC, 7년 만에 IT 인프라 가상화 86%... 3단계 가상화 성공의 방법론 제시

"가상화 수준이 높아지고 IaaS 수준이 높아지면 IT 조직의 근본적인 구조 변화가 뒤따른다."    EMC의 CIO 산제이 머천다니는 "가상화 수준이 높아지면 사일로 구조로 분화되어 있던 IT 부서는 필요없게 되며, 근본적인 구조 변화를 꾀해야 한다"고 주장했다. 2004년부터 물리적인 IT 인프라에 가상화 기술을 접목하기 시작한 EMC는 2012년 현재 가상화 3단계 86%를 달성했다.    4월 9일 한국을 방문한 산제이 머천다니는 IT 조직의 구조 변화 방법론으로 세 가지를 고려해야 한다고 설명했다. 이 세 가지 고려 사항은 바로 핵심역량, IT 역할, 그리고 IT 조직이다. 먼저 IT 조직을 변화시키는 것이 아니라 우선 핵심역량을 먼저 파악하고 이에 맞는 역할을 구성한 뒤, 이를 기준으로 IT 조직을 재배치해야 한다는 것이다.    이 날 머천다니는 "오늘날 CIO들이 안고 있는 가장 큰 현안 가운데 하나는 IT 부서의 내부 고객인 일반 사업부서들이 필요로 하는 클라우드 컴퓨팅을 어떻게 효과적으로 구현할 수 있을 것인가에 있다"면서, "EMC 역시 많은 고객사들과 마찬가지로 비즈니스 규모의 확대에 따른 정보량의 증가, IT 인프라의 비효율성, 애플리케이션 및 데이터센터 환경의 복잡성 등 여러 문제에 직면해 있었다"고 말했다.    이를 해결하기 위해 EMC는 VM웨어의 ESX 기술을 바탕으로 고도로 가상화된 IT 인프라로의 변화를 도모했으며, 이를 통해 IT가 전달되고 소비되는 방법에 변화를 줄 수 있는 클라우드 컴퓨팅 전략을 수립했다.   머천다니는 "EMC의 클라우드를 향한 여정은 ▲주변 업무들을 먼저 가상화하고 통합해서 IT 간소화를 이루는 IT  프로덕션(인프라에 초점) ▲핵심 업무들을 가상화해서 확장성과 ...

emc 빅 데이터 클라우드 2012.04.10

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.