Offcanvas
추천 테크라이브러리

테크라이브러리 광고 및 콘텐츠 제휴 문의

입력하신 이메일로 안내메일을 발송해드립니다.

BI|분석

“데이터 레이크의 잠재력을 깨운다” 차세대 스토리지 포맷 ‘아파치 아이스버그’의 이해 - Tech Summary

하둡 생태계는 방대한 데이터를 좀 더 쉽고 효과적으로 저장할 수 있기 때문에 데이터 레이크의 표준 생태계로 자리잡고 있다. 하지만 데이터를 둘러싼 환경은 빠르게 변화하고 있다. 특히 ‘데이터 폭풍’이라고 불리는 현재의 데이터 환경은 성능과 용량, 가용성, 확장성, 활용 방안 등 모든 면에서 기존 데이터 레이크의 한계를 드러내고 있다. 아파치 아이스버그가 차세대 데이터 레이크가 해법으로 주목 받는 이유는 기존 생태계와의 호환성을 유지하면서 데이터 웨어하우스의 정합성, 퍼블릭 클라우드 환경을 위한 최적화 등 기존 하둡 기반 데이터 레이크의 단점을 보완할 수 있기 때문이다. 아파치 아이스버그가 부리는 테이블과 스냅샷의 마법에 대해 알아본다. 주요 내용 - 클라우드와 데이터 폭풍 시대 데이터 레이크의 조건 - 장점은 살리고 단점은 보완하는 해법 “아파치 아이스버그” - “데이터 정합성부터 시간여행까지” 스냅샷의 마법 - 진화하는 파티션과 극강의 호환성 - 아이스버그의 가치를 극대화하는 클라우데라 데이터 플랫폼

Cloudera 2022.06.28

BI|분석 / 데이터베이스 / 오픈소스

"클라우드 데이터는 클라우드 DW에" EDW의 7대 과제와 해결 방안 - IDG Summary

최근 많은 기업이 레가시 시스템들을 퍼블릭 클라우드로 전환함에 따라 클라우드 환경에서 생성되는 데이터를 저장, 분석하는 DW(Data Warehouse) 시스템도 클라우드로의 전환을 꾀하고 있다. DW 퍼블릭 클라우드 서비스는 기존 EDW(Enterprise Data Warehouse)의 많은 과제를 해결할 수 있으며, 특히 아키텍처에 대한 유연성과 확장성을 기업에 제시한다. 전통적인 EDW가 갖고 있던 고질적인 문제점을 알아보고, 이를 해결하는 방안에 대해 살펴보자. 주요 내용  - 기존 데이터 웨어하우스의 7대 과제  - 퍼블릭 클라우드 환경 DW “빠른 구축과 비용절감" - CDW, BI와 ETL 작업을 분리  - 클라우드 DW 비용절감의 핵심, 오토서스펜드 타임아웃 - 클라우데라, DW에 확장성과 가격 대비 성능 제공

Cloudera 2022.01.19

애플리케이션 개발 / 엔터프라이즈 아키텍처|SOA / 엔터프라이즈 애플리케이션 / 오픈소스 / 전자상거래 / 클라우드 컴퓨팅 / 프로젝트 관리

“클라우데라 카프카에는 특별한 것이 있다" MSA 프로젝트가 카프카에 원하는 요구 사항 구현 - IDG Summary

최근 많은 기업이 정보계 시스템은 물론, 기간계 시스템도 MSA 기반의 애플리케이션으로 전환하고 있다. 기업은 MSA 프로젝트를 수행할 때 메시징 솔루션으로 카프카를 선호하는데, 이는 카프카가 기존 메시징 시스템에 비해 성능면에서 매우 우수하기 때문이다. 하지만 단점과 제약 사항도 명확한데, 대표적인 것이 관리 및 모니터링 도구의 부재다. MSA 프로젝트 구축시 기업이 카프카에 요구하는 사항과 이에 대한 클라우데라 카프카의 해법에 대해 알아보자.  주요 내용  - MOM의 성능 문제를 해결한 카프카  - MSA 프로젝트가 카프카에 바라는 것들 - 엔드 투 엔드 관리 및 모니터링, 클라우드 매니저와 CSM  - 미러메이커 2 기반의 SRM으로 DR 구성 문제 해결  - 카프카를 좀 더 잘 관리한다 ‘크루즈 콘트롤’과 ‘카프카 커넥터'

Cloudera 2022.01.19

엔터프라이즈 애플리케이션 / 오픈소스

수십억 개의 파일을 저장하는 차세대 빅데이터 저장소 아파치 오존의 이해와 설치 시 고려 사항 - IDG Summary

차세대 HDFS인 아파치 오존(Apache Ozone)은 빅데이터 생태계에서 사용하는 새로운 스토리지 컴포넌트다. 아파치 오존은 기존의 HDFS가 갖고 있던 확장성의 한계, 아키텍처에서의 문제를 극복하기 위해 10년이상 HDFS를 사용하면서 얻었던 경험을 기반으로 네임 스페이스와 블록 스페이스를 분리했으며, 아마존의 SSS와 유사한 객체지향성 저장소 기능을 제공한다. 빅데이터 저장소가 갖춰야 할 요건과 기존 HDFS가 갖고 있던 제약, 그리고 아파치 오존을 알아보고 사용자 입장에서 설치 시 고려 사항에 대해 설명한다.  주요 내용 - 차세대 HDFS 기술 아파치 오존, 수십억 개의 파일 핸들링  - HDFS, 3억 5,000만 개 이상의 파일 관리는 불가능 - 아파치 오존에 담긴 확장성의 비밀, 네임스페이스와 블록스페이스 분리 - 아파치 오존 설치 시 OM은 별도로 배치  - 아파치 오존을 선택해야 하는 5가지 이유 

Cloudera 2021.01.11

BI|분석 / 애플리케이션 개발 / 엔터프라이즈 애플리케이션 / 오픈소스

실시간 스트림 처리를 위한 오픈소스 프레임워크 '아파치 플링크'를 사용하는 이유 - IDG Summary

에어비앤비, 알리바바, 넷플릭스와 같은 기업들의 공통점은 스트림 데이터를 이벤트 기반으로 실시간으로 처리함으로써 각 분야에서 독보적인 경쟁력을 확보했다. 그 중심에 아파치 플링크(Apache Flink)가 있다. 매일 수십억 건의 이벤트를 처리하는 플링크는 분산, 고성능, 고가용성 및 정밀한 데이터 스트리밍 처리 애플리케이션을 위한 오픈소스 프레임워크다. 사용하기 쉬운 API, 상태 복구의 일관성 등을 장점으로 한 플링크의 개념과 이를 활용한 사례에 대해 알아보자. 주요 내용  - 세상 모든 것이 스트림  - 플링크를 사용하는 공통적인 이유 - 클라우데라 데이터 플로우와 스트리밍 분석  - 플링크, 이벤트 시간을 기반으로 스트림 처리 - 이벤트 기반의 실시간 애플리케이션 사용 사례

Cloudera 2020.06.16

데이터베이스 / 스토리지 관리 / 애플리케이션 개발 / 엔터프라이즈 아키텍처|SOA

"데이터 이동과 가시성 문제를 해결하라" 나이파이, 기본 개념 파악하기 - IDG Tech Insight

정보화 시대가 도래하면서 기업은 데이터 기반의 비즈니스로 전환했다. 하지만, 기업은 데이터를 공유하고 분석하는 데 어려움을 겪고 있었다. 이런 상황을 극복하기 위해 관련 기술이 등장해 많은 부분을 해소했다. 이 가운데 중요한 요소를 빠트렸는데, 바로 데이터 이동과 관련한 문제다. 수많은 형태의 데이터가 이동하는 기업에서 데이터 플로우는 굉장히 중요하지만, 정작 이를 전체적으로 관리할 수 있는 솔루션이 없었다. 데이터 이동을 위해 탄생한 것이 바로 아파치 나이파이(Apache NiFi)다. 데이터 플로우를 자동화하고 관리하는 아파치 나이파이에 대해 알아보자.  주요 내용  - “알아보자” 데이터 플로우 매니저 나이파이 - "어디에 쓰는 물건인고" NiFi에 대한 4가지 오해와 사용사례  - 인터뷰 | 클라우데라 아태지역 CTO 앤드류 살티스 데이터 플로우 매니저 NiFi, "일단 한번 도입해보면 효과를 안다"

Cloudera 2020.01.16

BI|분석 / 보안

클라우데라를 활용한 로그 데이터 수집 최적화 방안 - IDG Summary

로그분석 데이터는 SIEM이나 EDR과 같은 최신 보안 솔루션에서 필수적인 요소다. 따라서 수많은 기업이 로그 분석 솔루션을 도입하고 있는데, 과금 체계가 상당히 다르며 턱없이 비싸다. 이렇게 비싸게 된 이유는 바로 분석하지 않는 데이터에도 과금을 하기 때문이다. 이에 클라우데라는 실시간 스트리밍 데이터 플랫폼인 클라우데라 데이터플로우 플랫폼을 통해 로그 데이터 수집을 최적화하는 방법을 찾았다. 데이터 수집 최적화에 사용되는 구성 요소는 플로우 매니지먼트인 아파치 나이파이다. 기업의 로그 데이터 수집 최적화 방안에 대해 알아보고, 비용 최적화 전략을 구상해보자.  주요 내용  - 막대한 양의 로그 데이터, 어떻게 처리할 것인가  - 일부 로그 분석 솔루션의 사용상 문제점, “분석치 않는 데이터에도 가격 책정" - 클라우데라 데이터플로우 플랫폼으로 해결하라  - 로그 데이터 분석 솔루션 비용 최적화 전략  - 최적화를 위한 기업의 자세  - 클라우데라 신규 라이선스 정책 

Cloudera 2019.10.23

데이터베이스 / 스토리지 관리 / 엔터프라이즈 애플리케이션

임팔라의 기술적 이해와 대형 클러스터 운영 체크리스트 7선 - IDG Summary

  하이브는 SQL을 지원하긴 하지만 사용자가 SQL을 기반으로 애드혹 쿼리를 요청하거나 BI 도구를 사용해 분석할 경우에는 느릴 수 밖에 없는 한계를 갖고 있다. 기존 하둡용 SQL 엔진이 갖고 있는 성능 문제와 멀티 사용자 지원에 대한 문제를 해결하기 위해 만들어진 임팔라는 현존하는 하둡용 SQL 처리 엔진 가운데 가장 빠른 성능을 제공한다. 최근 국내에 임팔라를 활용한 대형 클러스터가 많아지면서 임팔라에서 제공하는 확장성 기능을 검토하지 않은 운영자는 소규모 클러스터에서 미처 겪지 못했던 문제를 겪을 수 있다. 임팔라에 관심이 있는 이들을 위한 기술적인 설명과 실제 운영자를 위한 클러스터 운영 체크리스트 7가지를 소개한다.  <주요 내용> - 하이브, 대화형 SQL 엔진으로는 역부족  - 고성능과 멀티 사용자를 위한 SQL 엔진, 임팔라  - 아파치 임팔라 쿼리 수행 아키텍처 - 클라우데라 엔터프라이즈 데이터 허브의 이해  - 대형 임팔라 클러스터 운영 시 알아야 할 사항들    

Cloudera 2019.02.14

데이터베이스 / 스토리지 관리 / 엔터프라이즈 애플리케이션

임팔라의 기술적 이해와 대형 클러스터 운영 체크리스트 7선 - IDG Summary

하이브는 SQL을 지원하긴 하지만 사용자가 SQL을 기반으로 애드혹 쿼리를 요청하거나 BI 도구를 사용해 분석할 경우에는 느릴 수 밖에 없는 한계를 갖고 있다. 기존 하둡용 SQL 엔진이 갖고 있는 성능 문제와 멀티 사용자 지원에 대한 문제를 해결하기 위해 만들어진 임팔라는 현존하는 하둡용 SQL 처리 엔진 가운데 가장 빠른 성능을 제공한다. 최근 국내에 임팔라를 활용한 대형 클러스터가 많아지면서 임팔라에서 제공하는 확장성 기능을 검토하지 않은 운영자는 소규모 클러스터에서 미처 겪지 못했던 문제를 겪을 수 있다. 임팔라에 관심이 있는 이들을 위한 기술적인 설명과 실제 운영자를 위한 클러스터 운영 체크리스트 7가지를 소개한다.    <주요 내용> - 하이브, 대화형 SQL 엔진으로는 역부족  - 고성능과 멀티 사용자를 위한 SQL 엔진, 임팔라  - 아파치 임팔라 쿼리 수행 아키텍처 - 클라우데라 엔터프라이즈 데이터 허브의 이해  - 대형 임팔라 클러스터 운영 시 알아야 할 사항들

Cloudera 2018.12.13

BI|분석 / 데이터베이스 / 엔터프라이즈 애플리케이션

하둡 해결사, "쿠두"와 "임팔라"의 이해 - IDG Summary

빅데이터 솔루션의 대표격인 하둡은 빠르게 확산되고 있으나 기대만큼의 혁신적인 결과를 얻지 못하고 있다. 그동안 하둡은 스몰 파일 문제부터 업데이트와 삭제가 되지 않고, 속도가 느린 점 등의 많은 문제점이 드러났다. 이를 해결하기 위한 새로운 솔루션들이 등장했는데, 그 가운데 대표적인 것이 바로 쿠두와 임팔라다. 하둡의 문제점을 짚어보고 이를 해결할 수 있는 쿠두와 임팔라에 대해 알아본다. <주요 내용> - 하둡을 활용하는 3가지 방법 - 블록 스토리지 HDFS의 문제점 - HDFS와 HBase의 단점 극복 위한 ‘쿠두’ - 임팔라와의 통합으로 생성, 변경 및 삭제 지원  

Cloudera 2018.02.02

BI|분석 / 데이터베이스 / 엔터프라이즈 애플리케이션 / 오픈소스 / 클라우드 컴퓨팅

클라우드 시대의 빅데이터 구현 전략 - IDG Summary

많은 기업이 클라우드로 이동하고 있다. 빅데이터 또한 클라우드 시대를 대비한 전환 움직임이 활발하다. 빅데이터의 대표격인 하둡은 사실 설계 당시 클라우드를 고려하지 않았다. 빅데이터 선도업체인 클라우데라는 하둡의 클라우드 전략을 제시하면서 클라우드 시대에 동참했다. 하둡이 클라우드로 가는 이유는 무엇일까? 하둡의 클라우드 전환 전략과 클라우데라의 클라우드 서비스에 대해 알아보자. 주요 내용 클라우드 기반의 빅데이터 장점 클라우데라의 클라우드 전환 가이드 트랜션트 클러스터와 롱런닝 클러스터의 차이 클라우데라 디렉터의 특장점 클라우데라의 클라우드 6가지 전략

Cloudera 2016.10.20

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.