Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.

하둡

인터뷰 | 더그 커팅, "오픈소스 하둡, 빅 데이터를 효과적으로 다룬다"

대량의 데이터 처리를 위해 만들어진 소프트웨어 프레임워크인 아파치 하둡의 창시자 더그 커팅과 만나 이야기를 나눴다.   2011년 '클라우드'에 이어 가장 큰 화두가 된 용어는 빅 데이터였다. 2012년 빅 데이터는 공공과 민간 분야의 많은 IT 조직들이 본격적으로 도입을 고민해야 할 기술이 될 것으로 보인다.   근본적인 문제는 결국 '최종 사용자가 생성하는, 많은 경우 막대한 양의 비정형 데이터를 어떻게 저장하고, 이것을 의미있고 유용한 정보로 변환하려면 어떻게 해야 하는가'다.   기업들이 이 문제를 해결하기 위해 도입한 툴 가운데 하나가 대규모 데이터의 분산 처리를 위한 오픈 소스 프레임워크인 하둡(Hadoop)이다.   하둡을 만든 더그 커팅은 "하둡을 통해 조직들은 이전보다 훨씬 더 많은 양의 정보를 분석할 수 있게 됐다"며, "하둡은 검색 엔진들이 웹 전체를 분석하기 위해 사용하는 기술을 토대로 개발됐다. 지금은 이 기술이 다른 많은 영역에서 사용되고 있다"고 말했다.   올해 안으로 하둡 2.0 출시될 듯  지난 1월 하둡은 마침내 버전 1.0에 도달했다. 현재 이 소프트웨어는 아파치 소프트웨어 재단의 후원하에 개발되고 있다.   커팅은 "올해에는 하둡 2.0이 나오게 된다. 향상된 성능과 높은 가용성, 분산 컴퓨팅 메타포의 증대를 통해 더 많은 애플리케이션을 지원할 것이다. 하둡은 빅 데이터를 위한 분산 운영 체제 커널이 되고 있다"고 전했다.   하둡의 모태는 오픈 소스 검색 엔진을 만들기 위한 프로젝트인 너치(Nutch)다. 커팅도 참여했던 너치 역시 아파치 소프트웨어 재단에서 개발하고 있다.    커팅은 "하둡을 중심으로 한 생태계에서 현재 ...

하둡 빅 데이터 더그 커팅 2012.03.06

엑셀과 하둡의 만남, MS와 호튼웍스 협력 강화

마이크로소프트는 엑셀 사용자들이 하둡에서 나온 산출물을 다운로드하고 분석할 수 있도록 하는 커넥터를 개발하고 있다. 하둡은 점진적으로 그 영역을 확장하고 있는 개방형 오픈소스 데이터 프로세싱 플랫폼이다.      야후에서 하둡의 분배와 상용화 지원 서비스를 위해 분리 독립한 호튼웍스 CTO 에릭 발데슈빌러는 "마이크로소프트가 말 그대로 수백만의 새로운 사용자에게 아파치 하둡을 개방한다는 것은 중요한 의미를 지닌다"며, 그것은 엑셀과 파워피벗(PowerPivot) 사용자 수백만 이상이 그들에게 이미 매우 익숙한 소프트웨어를 사용해 아파치 하둡에서 지금 바로 가치를 이끌어낼 수 있다는 것"이라고 말했다.    이 커넥터는 각각의 하둡과 연계된 오픈 소스 프로젝트 사이에 있다.    마이크로소프트와 호튼웍스는 미국 캘리포니아에서 개최된 오렐리 스트라타 데이터 컨퍼런스에서 28일 발표했다. 양사는 지난해 하둡이 윈도우 생태계에 적용할 수 있도록 하는 파트너십을 맺은 바 있다.    또한 양사는 자바스크립트 프레임워크를 개발하고 있다. 이는 자바스크립트 프로그램으로 하둡 데이터를 탐색할 수 있도록 한다. 그리고 그들은 이 소프트웨어가 윈도우 서버에서 실행될 수 있도록 하는 하둡 코어를 위한 패치 시리즈를 만들고 있다.   이 커넥터는 하이브(Hive) 데이터웨어하우스 시스템을 통해 하둡과 소통하는 ODBC(Online Database Connector)가 될 것이다. 이를 통해 사용자는 엑셀에서 하이브로부터 다운로드된 데이터를 액셀 파워피봇와 같은 툴을 사용해 분석할 수 있다.   호튼웍스 전략기획 부사장 숀 코널리는 "마이크로소프트의 하이브용 ODBC 드라이브는 엑셀, 파워피봇, 그리고 다른 마이크로소프트 툴이 하이브를 통해 훨씬 쉽...

마이크로소프트 커넥터 애저 2012.02.29

EMC, 하둡 통합한 아이슬론 NAS 출시

EMC가 오픈소스 분석 플랫폼인 하둡을 지원하면서 자사의 최신 아이슬론 NAS를 제공하기 시작했다.   EMC는 얼리 어댑터들이 강력한 분석에 필요한 공유 데이터 접근을 억제하면서 빅 데이터를 조사하는 데 최적화되지 않은 임시 스토리지 인프라에 의존해야만 했기 때문에 기업들이 하둡을 제대로 이해하는 데 어려움이 있었다고 주장했다.   하둡의 분산 파일 시스템(HDFS) 프로토콜이 EMC 아이슬론 스케일 아웃 NAS와 통합함으로써 서로 다른 오픈소스 구성 요소와 하드웨어의 통합 복잡성을 없앨 수 있게 됐다. 이는 기업들이 여러 IT업체와 계약하지 않고 빅 데이터 분석의 장점을 활용할 수 있다는 것을 의미한다.   전통적인 오픈소스 아파치 하둡은 싱글 포인트를 제공하지 못하는 고유의 특성이 있었으나 EMC는 통합 제품으로 이러한 단점을 없앴다.   EMC는 자사 오픈 소스 분석 시스템 그린플럼(Greenplum) HD와 새로운 아이슬론 NAS을 통합할 계획이다. EMC에 따르면, 이 통합 솔루션은 하둡 배포와 관련된 복잡성을 줄여줄 것으로 기대된다.   이 통합 아이슬론 솔루션은 데이터를 이동하지 않고 바로 구조화된 데이터 분석 워크플로우에 하둡 파생 인사으트에 바로 연결하도록 해준다고 그린플럼 CTO 루크 로너간은 말했다.   "이 솔루션은 기업이 경쟁력을 유지하기 위해 신속하고 효율적으로 새로운 통찰력을 발견 수 있도록, 현업과 데이터 분석 속도를 향상시킨다"라고 로너간은 강조했다.   EMC는 아이슬론이 기업 데이터 보호, 저장 및 가속 데이터 이동에 대한 접근 기능을 제공하는 다양한 산업 표준 프로토콜(NFS, CIFS, FTP, HTTP)로 HDFS를 통합하는 유일한 NAS 스토리지 플랫폼이라고 주장했다.   하둡은 원래 대형 검색 서비스를 돕기 위해 설...

하둡 그린플럼 NAS 2012.02.06

글로벌 칼럼 | "하둡 축제를 준비하자"

오늘날 비즈니스 테크놀로지 세계에서 빅 데이터라는 주제를 다루지 않고서는 말하지 못한다.    간단히 말하면 빅 데이터는 큰 볼륨의, 빠르고 다양한 데이터 세트에 관한 것이며, 전통적인 데이터베이스 툴로는 관리하기가 불가능하다.    2011년 전세계 데이터 출력량은 1.8제타바이트(1제타바이트는 10억테라바이트)였다. 더 충격적인 것은 전세계 데이터의 90%는 불과 2년 전사이에 만들어진 것으로 추정된다는 점이다.    데이터의 폭발적인 증가에는 물론, 비정형 데이터가 있다. 지난해 HP 디스커버 컨퍼런스에서 오토노미 CEO이자 정보관리 부사장인 마이크 린치는 "IT 세계는 정형화, 컴퓨터 친화적인 정보- 잘 관리되어진 원 데이터와 칼럼-에서 단지 문서뿐만 아니라 비디오, 오디오, 이미지를 포함한 이메일과 소셜 미디어와 같이 다양한 소스로부터 나온 비정형, 인간 친화적인 데이터로 이동하고 있다"고 말했다.    아파치 하둡과 관련해 빅 데이터가 떠오른다는 주장이 혹시 소음으로 들릴 지 모른다. 무료 라이선스인 이 소프트웨어 프레임워크는 데이터 집약적인 분산형 애플리케이션들을 지원한다.   하둡은 애플리케이션들이 수천 노드와 페타바이트 급(1,000 테라바이트) 데이터를 실행할 수 있게 한다. 이는 확실히 비정형 데이터 체계화를 위한 성배처럼 보여 모든 이들이 하둡에 편승하는 것에 의문을 갖지 않는다.     웹으로 빠르게 검색해보면 불과 몇 달만에 EMC, 마이크로소프트, IBM, 오라클, 인포메티카, HP, 델, 클라우데라 등등의 업체들은 모두 이 소프트웨어 프레임워크를 채택했다는 것을 알게 될 것이다.    필자는 비즈니스 규모와 스토리지 비용 절감 양쪽 측면에서 하둡을 사용한 야후, 아마존, 컴스코어, AOL과 같은 업체에...

하둡 빅 데이터 2012.01.27

빅 데이터를 위한 개방형 프레임워크, “하둡"의 이해 - IDG Tech Report

이제 하둡(Hadoop)이라는 단어를 처음 접하는IT 전문가는 없을 것이다. 하지만, HDFS, 맵 리듀스, H베이스, 너치, 피그, 하이브 등의 단어가 쏟아져 나오면, DB 전문가가 아닌 이상 갈피를 잡지 못할 것이다. 하둡이란 도대체 무엇인지 기본적인 개념을 이해하고, 이를 구성하는 요소와 하둡의 서브 프로젝트는 어떤 것들이 있는지, 그리고 하둡의 도입 효과는 어떠한지 알아보자.   주요 내용 - 하둡이란 무엇인가 - 하둡의 구성 요소와 하부 프로젝트 - 하둡의 효과 - 하둡의 향후 과제와 발전 방향 

하둡 빅 데이터 HDFS 2012.01.26

빅 데이터의 열쇠 하둡 총정리 3 RDBMS에서 하둡으로 가는 길

하둡이 적합하다고 생각되는 관리자가 있으면 데이터 프레임워크로 구성된 오픈소스 소프트웨어를 다운로드받아 비교적 쉽게 시험해볼 수 있다.   지금까지 하둡 총정리를 통해 하둡을 관리하기 위해 갖춰야 하는 것들, 그리고 하둡을 사용하는데 따른 이익과 문제점들을 알아보았다.    이번 마지막 회에서는 기존의 RDBMS에서 하둡으로 옮겨가는데 따른 비용과 관계된 기술들을 살펴보고, 기업들이 현재 어떻게 하둡을 설치하는지, 하둡 데이터를 다른 어떤 RDBMS보다 훨씬 빠르고 저렴하게 분석하는데 사용할만한 툴 등을 살펴 볼 것이다.   새롭게 부상하는 기술들, 특히 오픈소스의 기술들이 그렇듯, 하둡 역시 원하는 IT 업체들이 직접 시험함으로써 이에 따른 이익을 누리고 있다.    현재 하둡은 기술 미디어와 컨퍼런스 등에서 더 많이 주목받았으며, 이에 따라 최고 경영진들이 하둡의 열풍에 덩달아 뛰어들어 하둡이 기업 비용을 얼마나 줄여 줄 수 있는지 직접 보고 싶어한다.    하둡의 도입에는 현장에서부터(Bottom up) 혹은 경영진으로부터(Top down) 시작되는 두 가지 방식이 있는데, 지금부터 도입 방식에 대해 자세히 들여다보자.   바텀 업 방식, IT 부서가 주도  그림자 같은 IT는 기업에게 있어 하나의 축복이거나 혹은 골칫덩어리다. 하지만 종종 실험적인 구성 혹은 샌드박스(sandbox) 구성이 결국에는 기업에게 엄청난 이익을 안겨주곤 했다. 한 예로 리눅스는 21세기 초에 이런 그림자 IT에 의해 성장한 수혜자다.   아파치 소프트웨어재단(Apache Software Foundation)의 아파치 하둡 부사장 아룬 머시는 "이제 하둡 차례"라고 주장했다.   머시는 "바텀 업 방식의 경우 보통 한두 명의 ...

하둡 빅 데이터 하이브 2012.01.18

빅 데이터의 열쇠 하둡 총정리 1 : 개념과 알아둬야 할 것

빅 데이터는 클라우드 컴퓨팅만큼이나 널리 확산되고 있는 개념이다. 그러나 빅 데이터의 역량과 한계에 관해서는 사람들이 잘못 알고 있는 부분들이 많다. 특히 빅 데이터와 관련해 사람들은 다음의 질문들에 대한 내용들을 제대로 이해하지 못하고 있다.   - 어떻게 기존의 데이터베이스들이 사실상 비관계형(non-relational)인 데이터 저장 엔진들과 함께 사용될 수 있는가?   - 관계형 DBMS(RDBMS)에서 분산시스템으로 데이터를 옮기려면 무엇이 필요한가?   - 조직 내에서 이런 빅 데이터 시스템들을 가장 잘 활용하기 위해 무엇을 알아야 하나?(IT 직원들이 관심을 보일만한 질문)    현재로는 비관계형 DBMS(NRDBMS)의 가장 인기있는 아파치 하둡(Apache Hadoop)가 가장 대표적이다. 분산형 데이터 프레임워크인 하둡은 빅 데이터와 소위 NoSQL 데이터베이스의 전형으로 여겨진다. 그러나 앞서 설명한 것들이 하둡의 실제 모습이나 그것의 작동 원리를 설명해주지는 않는다.   - 하둡은 진정 무엇이며, 기업들과 IT 직원들은 어떻게 활용할 수 있나?   - 어떤 기업들이 하둡을 이용해야 하며, 그것을 도입할만한 자원들은 어디서 구할 수 있나?   이런 질문에 대한 대답을 이번 하둡 총정리 기사를 통해 자세히 다룰 예정이다. 이번 기사에서는 주로 하둡이 어떻게 만들어지는지를 살펴볼 것이다. 하둡이 대체로 어떻게 작동하는지를 이해해야 DB 관리자들과 데이터 분석가들이 하둡 프레임워크를 이용해 일하는데 구체적으로 어떤 능력들을 필요로 하는지를 더 정확하게 파악할 수 있을 것이다. 또한 하둡의 생태계에 속해 있는 사람들을 알게 됨으로써 하둡 교육에 필요한 훌륭한 자원들을 찾아낼 수 있을 것이다.   하둡에 대한 오해 하둡에 대한 다음의 두 요소들은 분명...

DBMS 하둡 맵리듀스 2012.01.11

아파치 하둡, 마침내 정식 버전 출시

거의 7년에 이르는 긴 개발과 세부 조정 작업을 거쳐 아파치 하둡 데이터 프로세싱 프레임워크가 마침내 완전한 버전으로 발표됐다.   아파치 하둡 프로젝트 팀은 정식 1.0 버전을 발표했다. 아파치 하둡 부사장 아룬 머시는 “사용자들은 이번 발표 버전이 오픈소스 커뮤니티의 지원을 받는다는 것에 대해 더욱 확실하게 알게 됐다”며, “더 이상 어떤 기능을 위해 하둡의 어떤 버전을 사용해야 하는지에 대한 혼란은 없다”고 강조했다.   머시는 특히 이번 버전을 정식 1.0 버전으로 정하는 데는 세 가지 추가 기능이 한몫을 했다고 설명했다. 가장 대표적인 것은 엔드 투 엔드 보안이다. 하둡은 이제 케베로스 네트워크 인증 프로토콜을 사용해 네트워크 전체에 걸쳐 보안을 확보할 수 있다. 결과적으로 기업들은 민감하고 개인적인 데이터에 적용된 하둡을 신뢰할 수 있다는 것.   두 번째 기능은 WebHDFS REST(representational state transfer) API로, 많은 관리자와 프로그래머가 쉽게 이해할 수 있는 웹 기술을 사용해 하둡과 인터랙션을 할 수 있게 해준다. 이를 통해 기업의 하둡 적용이 한층 촉진될 것으로 기대된다.   마지막으로 이번 버전은 처음으로 HBase를 완전하게 구동해 관리자들이 친숙한 관계형 데이터베이스 같은 구조로 데이터를 저장할 수 있다.   하둡은 지난 2005년 루센 개발자인 더그 커팅과 마이크 카파렐라가 구글의 맵리듀스 알고리즘을 구현하면서 만들어졌다. 맵리듀스는 여러 대의 다른 서버에 걸쳐 분포되어 있는 데이터를 분석하기 위한 기법이다. 커팅은 이후 야후로 옮겨가 검색 서비스에 하둡 기술을 적용하는 작업에 참여했으며, 최종적으로는 약 4만여 대의 서버에 걸쳐 하둡을 구현했다.   하둡을 흔히 빅 데이터라고 부르는 대규모 데이터를 저장하고 분석하는...

상용 정식 버전 2012.01.05

애저 클라우드, 하둡 포함한 오픈소스 앱 대거 지원

올해 초 발표한 약속을 지키기 위해 마이크로소프트가 아파치 하둡의 테스트 버전을 자사의 애저 클라우드 서비스에 배치했다. 이로써 마이크로소프트는 이제 하둡 오픈소스 데이터 분석 플랫폼의 제한적인 프리뷰 버전을 제공한다.    마이크로소프트는 하둡 지원을 포함한 애저 클라우드 업그레이드 내용을 발표했는데, 하둡 외에 Node.js 자바스크립트 라이브러리도 설치했으며, 다양한 오픈소스 애플리케이션을 통합했다. 이번 업그레이드에는 가격 조정도 포함됐는데, SQL 애저에 저장할 수 있는 데이터 용량이 늘어났으며, 관리 포털에 실시간 사용량과 요금 정보 기능이 추가됐다.   지난 10월 마이크로소프트는 애저 상에서 하둡을 제공할 것이라고 밝힌 바 있으며, 여기에는 야후에서 분사한 하둡 배포판 전문업체인 호튼웍스(Hortonworks)가 참여했다.   마이크로소프트의 윈도우 애저용 아파치 하둡 기반 배포판은 인스톨러, 맵리듀스 작업을 지원하는 자바스크립트 라이브러리, 그리고 마이크로소프트 엑셀이나 파워피봇의 데이터를 하둡 하이브 데이터베이스에서 분석할 수 있는 드라이버로 구성된다.   이번 업데이트에는 하둡의 시험 버전만을 제공하며, 아직 정식 버전 서비스 일정은 공개되지 않았다. 프리뷰 버전에 관심있는 사용자는 신청서를 내야 하며, 마이크로소프트는 이중 무작위로 불특정 다수를 뽑아 원하는 사용 패턴을 기반으로 플랫폼을 테스트하도록 할 방침이다.   하둡과 함께 마이크로소프트 애저 클라우드는 이제 여러가지 오픈소스 기술도 통합했다. Node.js 라이브러리를 이용해 개발자들은 마이크로소프트 서버의 애저 버전에서 구동하는 웹 애플리케이션을 개발할 수 있다. Node.js 사용을 지원하기 위해 마이크로소프트는 다운로드할 수 있는 SDK를 발표했는데, Node.js 카피와 윈도우 파워셸, 그리고 애저 에뮬레이터가 포함되어 있어 개발자가 자...

마이크로소프트 오픈소스 애저 2011.12.13

빅 데이터 고공행진, 하둡 전문가 '귀하신 몸'

하둡 및 관련 기술에 대한 업계의 관심이 고조되고 있는 가운데, 전문 인력에 대한 수요가 공급을 넘어서고 있는 것으로 평가됐다.   이번 주 뉴욕에서 열린 하둡 월드 컨퍼런스에 참가한 애널리스트 및 전문가들은 전문 인력 확보가 기업들에게 주요 과제가 되고 있다고 지적했다. 또 적절한 역량을 갖춘 인재의 경우 그 몸값이 상승하고 있다고 전했다.   전문 인력의 부족 현상을 나타내는 한 지표가 있다. JP 모건과 이베이의 IT 임원들이 이번 컨퍼런스 현장에서 키노트를 통해 구인 의사를 밝혔던 것이다.   이베이의 사용자 경험, 검색, 플랫폼 부문 부사장 휴 파인스미스는 키노트에서 하둡 전문가를 물색하고 있다고 말하면서 관심을 보이는 이들을 초대하기도 했다.   JP 모건 체이스의 매니지 디렉터 래리 파인스미스도 키노트에서 인력 영입 의사를 밝히면서, 이베이보다 10% 높은 연봉을 지급하겠다는 농담을 남기기도 했다.   포레스터 리서치의 제임스 쾨빌리우스 애널리스트는 "이제는 하둡이 새로운 데이터 웨어하우스다. 기업 내 데이터의 신규 출처다"라면서 "하둡에 대해 잘 알고 기업이 이를 활용할 수 있도록 일조할 수 있는 인력에 대해 프리미엄이 있는 상태"라고 말했다.   하둡은 구조화 또는 비구조화된 방대한 양의 데이터를 기업들이 저장하고 관리할 수 있게 해준다. 이에 따라 수 페타바이트에 이르는 웹로그, 클릭 스트림, 소셜 미디어 콘텐츠 등을 저장하고 분석하는데 하둡을 이용하는 기업들이 증가하고 있다. 이를 통해 고객과 비즈니스 모델에 대한 통찰을 얻을 수 있을 것이라는 기대에서다.   쾨빌리우스는 이에 따라 전문 인력에 대한 수요가 증가하고 있다면서, 여기에는 다변수 통계 및 분석, 데이터 마이닝, 예측 모델링, 자연 언어 처리, 콘텐츠 분석, 텍스트 분석, 소셜 네트워...

하둡 애널리틱스 빅데이터 2011.11.11

인터뷰 | 하둡 창안자 더크 커팅 “폭발적인 관심 지속될 것”

더그 커팅(Doug Cutting)은 야후에서 근무할 때 세계 최대의 하둡(Hadoop) 클러스터 중 하나를 구축한 팀을 이끌었으며, 기업들이 페타바이트 수준의 체계가 없는 데이터를 저장하고 분석할 수 있도록 하는 오픈소스 하둡 프레임워크의 만들어 낸 사람이다. 익사이트(Excite), 애플, 팔로알토 연구소(Xerox PARC)에서 엔지니어로 근무했으며, 현재 아파치 재단이 관리하고 있는 오픈소스 검색엔진 기술인 루센(Lucene)과 넛치(Nutch)의 개발자이기도 하다.    커팅은 현재 하둡의 상용 버전 버전을 판매 지원하는 클라우데라의 아키텍트로 재직중이다. 인터뷰에서 커팅은 하둡에 대한 기업들의 관심이 증가하고 있는 이유에 관해서 이야기했다.   CIO 또는 CFO에게 하둡을 어떻게 설명하는가? 왜 기업들은 하둡에 관심을 가져야 하는가?  하둡은 정말 단순한 수준에서 이전보다 훨씬 많은 데이터를 적절히 저장하고 처리할 수 있도록 돕는다. 더 많은 데이터와 이를 처리할 수 있는 능력을 바탕으로 기업들은 더 많은 것을 보고 배우고 할 수 있다. 하둡을 통해 사용자들은 이전에는 전혀 실용적이지 않던 모든 종류의 분석을 수행할 수 있다. 사용자는 전체 인구 통계자료의 패턴을 수개월 또는 수년에 걸쳐 살펴볼 수 있다.    사용자는 '우리는 가격을 어떻게 매겨야 하는가?', '우리는 지금 무엇을 팔아야 하는가?', '우리는 광고를 어떻게 해야 하는가?' 등의 문제에 대해 패턴을 만들고 예측을 하고 결정을 내릴 수 있는 충분한 데이터를 갖고 있다. 이것을 통해 더 오랜 시간 동안 데이터를 보유할 수 있을 뿐 아니라 주어진 기간 동안 더 풍부한 데이터를 보유할 수도 있다.   하이브(Hive)와 피그(Pig)는 무엇인가? 왜 기업들은 이 프로젝트들에 대해서 알아야 하는가?  하이브...

하둡 빅데이터 클라우데라 2011.11.09

글로벌 칼럼 | 다시 프라이버시의 시대가 올 것인가?

십 수년 전, 당시 선의 CEO였던 스캇 맥닐리는 순진한 애널리스트와 기자들을 향해 "프라이버시란 존재하지 않는다. 이제 프라이버시는 잊어라"라는 잔인한 말을 내뱉은 바 있다.    그리고 사람들은 이 말에 따랐다. 그들은 이를 잊어버렸다. 대다수의 인터넷 유저들이 프라이버시라 부를만한 것들로부터 멀어진 것은 이미 예전의 일이다. 모든 것이 공유되는 오늘날, 프라이버시의 가치를 인식하는 이는 거의 남아있지 않는 듯 보인다.    그러나, 이러한 현상이 포화 지점에 이른다면 그땐 어떻게 될까? 사람들은 자신들의 개인 정보가 얼마나 파헤쳐져 있었는지 깨닫고는 ‘이제 그만!’이라 외치겠지만 그땐 이미 되돌아갈 수 없는 강을 건넌 뒤일 것이다. 심각한 경우, 수 백만의 인터넷 사용자들을 다시 출발선으로 되돌려 놓고, 새로운 고객 보호 장치를 마련해야 할 필요가 제기될 수도 있을 것이다. 페이스북이여, 트위터여, 안녕!    이런 가정이 터무니없어 보이는가? 당신이 전문가가 아니라면 그리 생각하는 것도 무리는 아니다. 그렇다면 소셜 네트워킹 사이트들이 당신의 웹 서핑 습관을 추적해 짜증나는 정보들을 보내오는 상황을 떠올려보라. 페이스북 유저들에게 서로를 염탐할 수 있게 한 마크 주커버그의 최근 행동도 같은 맥락에서 이해할 수 있을 것이다. 그는 심지어 페이스북 플레이스를 개발하며 포스퀘어를 모방하기까지 하지 않았는가.    아이러니하게도, 필자에게 프라이버시의 부활에 관해 생각할 기회를 제공한 것은 이번 달 초 공개된 신생 소셜 네트워킹 서비스인 '웨이인'이었다. 그리고 이 발표를 진행한 이는 다름아닌, 이들 기업의 대표 이사로 부임한 스캇 맥닐리였다. 사용자들은 다른 유저나 스폰서들이 제시한 서베이 문항에 신속한 답변을 제공함으로써 이 플랫폼에 참여할 수 있다. 웨이인의 매력은 유저들이 ...

프라이버시 하둡 빅 데이터 2011.10.19

마이크로소프트, 하둡 진영에 합류

마이크로소프트는 하둡 '빅 데이터' 진영에 가장 최근에 합류한 IT 업체가 됐다.  지난 수요일 마이크로소프트는 윈도우 서버와 윈도우 애저 플랫폼용 아파치 하둡(Apache Hadoop)을 개발하기 위해 야후에서 분사한 호튼웍스와 협력할 예정이라고 발표했다.    이번 파트너십 체결을 통해 호튼웍스는 마이크로소프트가 윈도우 기술에 하둡을 통합하는데 있어 전문적인 기술을 제공할 예정이다.    마이크로소프트는 올 연말까지는 윈도우 애저용 하둡 기반 서비스의 시제품을, 그리고 2012년에는 윈도우 서버용 시제품 개발을 목표로 하고 있다고 밝혔다. 그리고 윈도우 서버 하둡 개발은 기존의 마이크로소프트 BI 툴을 사용해 수행할 것임을 언급했다.   마이크로소프트의 부회장 테드 쿠머트는 "이를 통해 마이크로소프트 고객들은 좀더 나은 빅 데이터 관리를 수행할 수 있을 것"이라고 밝혔다.    오라클, IBM에 이어 하둡 합류 마이크로소프트의 이번 발표는 오라클이 하둡 기반 빅 데이터 제품과 새로운 오라클 NoSQL 데이터베이스, 그리고 통계 분석을 위한 R 프로그래밍 언어의 오픈 소스 배포를 공개한지 채 일주일이 되지 않은 시점에 이루어진 것이다.   마이크로소프트와 마찬가지로, 오라클도 하둡 제품군은 빅 데이터 분석에 대한 기업들의 관심 고조로 출시하게 됐다고 밝힌 바 있다.   그리고 12일 IBM은 하둡이 일반적으로 실행되는 대규모 컴퓨팅 클러스터 관리를 위해 소프트웨어 업체 플랫폼 컴퓨팅(Platform Computing)과 인수할 예정이라고 발표했다.     빅 데이터 애플리케이션을 지원하는 오픈소스 소프트웨어 프레임워크인 하둡은 이메일 콘텐츠, 웹로그, 클릭스트림 데이터, 오디오와 비디오 파일, 그리고 센서 데...

마이크로소프트 하둡 빅 데이터 2011.10.14

오라클, '빅데이터' 어플라이언스 출시

오라클은 샌프란시스코 오픈 컨퍼런스 동안 소프트웨어와 하드웨어를 묶은 오픈소스 하둡과 R 프레임워크를 위한 지원하는  빅데이터 어플라이언스를 출시하고 자사의 제품 라인에 새롭게 추가했다.    이번 새로운 어플라이언스는 오프소프 하둡 프로그래밍 프레임워크, 데이터 통합, 로딩 툴, R 오픈소스 통계 분석 소프트웨어의 배포, 오라클 NoSQL 데이터베이스를 포함한다.   분배, 높은 확장성, 키 값 데이터베이스가 특징인 오라클 NoSQL 데이터베이스는 "설치, 구성, 관리가 쉽고, 전 워크로드에 걸쳐 지원하며, 오라클의 엔터프라이즈급 지원이 뒷받침되는 엔터프라이즈급 안정성을 제공한다. 오라클 측은 이것이 버클리 DB의 데이터베이스인 오라클의 기술을 기반으로 한 것인지는 밝히지 않았다.    오라클 측은 "오라클의 R 분포가 R 애플리케이션이 이 시스템 내에서 데이터를 활용할 수 있도록 11g 데이터베이스와 함께 통합됐다"고 밝혔다.    또한 독립 형태의 소프트웨어 제품군을 제공할 계획이다. 가격이나 출시 시각은 알려진 바 없으며, 가능하다면 애스터 데이터, 네티자, 그린플럼 등과 같은 제품과 경쟁하게 될 것이다.    한편 래리 앨리슨은 또다른 새로운 BI 시스템인 엑사리틱스(Exalytics)를 공개했다. 래리 앨리슨은 "기존 시스템에 비해 10배 압축된 데이터를 10배나 빨리 전송함으로써 결국 100배 많은 데이터를 관리할 수 있게 됐다"고 설명했다.  editor@itworld.co.kr

오라클 어플라이언스 하둡 2011.10.04

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.