2025년 하루에 만들어지는 데이터의 양
453
EB
자료 제목 :
하루에 만들어지는 데이터양
A day in Data
자료 출처 :
Racounteur
원본자료 다운로드
발행 날짜 :
2019년 04월 17일
개발자

실시간 데이터 시대 핵심 기술⋯이벤트 기반 아키텍처의 이해

James Aley | InfoWorld 2022.09.02
데이터는 기하급수적으로 증가한다. 전 세계에서 매일 생성되는 데이터의 양은 3년 후면 463엑사바이트에 이르게 된다. 이해를 돕기 위해 설명하자면 인간이 지금까지 생성한 모든 단어의 총합이 5엑사바이트다.
 
ⓒ Getty Images Bank

지금의 디지털 경제에서 성공하기 위해 적시에 올바른 비즈니스 결정을 내릴 방안을 모색하는 기업은 모든 데이터를 활용하고 분석하기 위한 전략을 고민 중이다. 2025년까지 연결된 한 사람당 일일 디지털 상호작용의 수는 평균 5,000회에 이를 것으로 전망된다. 기업의 고민은 이처럼 폭증하는 실시간 데이터, 프로세스, 사용자 경험에 대한 수요를 어떻게 충족할 것인지로 모인다.

그 대안 중 한 가지가 바로 '이벤트 기반 아키텍처(event-driven architecture)'다. 이벤트 기반 아키텍처는 기업이 고객 거래와 같은 비즈니스 이벤트에 대해 실시간으로 대응할 수 있는 소프트웨어 설계 패턴이다. 이벤트 기반 아키텍처는 1970년대부터 사용됐으므로 새로운 개념은 아니지만, 기술이 기업과 소비자에게 실질적인 의미로 실현되기 시작한 것은 최근이다.
 

이벤트 기반 아키텍처의 작동 방식과 장점

이벤트 기반 아키텍처는 이벤트를 기반으로 하며, 각 이벤트는 이벤트에 관심이 있는 당사자에게 비즈니스 시스템에서 상태 변경이 일어났음을 알린다. 예를 들어 온라인 구매, 제품 발송 또는 제품 배송 완료 등이 이벤트가 될 수 있다. 이벤트는 모든 업종에서 항상 일어난다.

이벤트 기반 아키텍처에는 생산자와 소비자가 있다. 생산자는 이벤트를 트리거하고 이 이벤트는 이벤트 채널을 통해 관심 있는 소비자에게 전송되는데, 여기서 이벤트는 비동기적으로 처리된다. 생산자와 수신자가 느슨하게 연결되거나 완전히 분리되므로 생산자와 소비자가 서로 기다릴 필요가 없이 다음 작업을 시작할 수 있다.

통신과 비즈니스 로직이 분리되므로 확장성도 개선된다. 게시자는 병목 현상을 피하고, 구독자가 오프라인 상태가 되거나 소비 속도가 느려져도 영향을 받지 않는다. 구독자가 이벤트 속도를 따라잡지 못한다면 이후에 불러올 수 있도록 이벤트 스트림이 이벤트를 기록한다. 게시자는 처리량 제한 없이 계속 알림을 보낼 수 있고 실패에 대한 회복탄력성도 높다.

이와 같은 게시자/구독자(pub/sub)는 이벤트 기반 아키텍처에서 일반적인 설계 패턴이고, 게시자와 구독자 간에 메시지를 교환하기 위한 프레임워크가 있다. 메시지 브로커는 게시자의 이벤트가 발생하는 대로 모두 수신해 구독자, 즉 이벤트를 수신하도록 등록한 사람에게 보낸다. 브로커는 이벤트를 기록하기도 한다. 소비자는 언제든 이벤트 스트림에 액세스해 최근 메시지를 읽거나 마지막으로 스트림을 확인한 후 수신된 메시지만 확인할 수 있다.

메시지 브로커가 있으므로 게시자는 구독자가 누구인지 모르며 관심 있는 당사자의 수가 증가해도 영향을 받지 않는다. 이처럼 브로커에게 게시하는 방식 덕분에 생산자는 다양한 기기와 플랫폼에 걸쳐 폭넓은 소비자에게 알림을 보낼 수 있다.
 

이벤트 기반 아키텍처 구현의 과제

반면 대규모 실시간 경험을 제공하는 기능을 애플리케이션에 넣는 것은 위험하고 복잡하며 비용과 시간도 많이 든다. 이미 나와 있는 구성요소를 사용해 초기 맞춤형 솔루션을 제작하는 데만 몇 개월이 소요될 수 있다. 규모와 안정성 요구사항에 따르는 복잡성까지 해결하려면 몇 년까지 늘어날 수 있다.

또한, 많은 애플리케이션이 상호 의존하는 순차적 메시지에 의존한다. 메시지가 손실되거나 순서가 뒤바뀌면 사용자 경험이 손상되고 이 과정에서 고객 데이터가 손실될 수 있다. 실시간 디지털 경험을 데이터 무결성과 함께 제공하는 데 필요한 엔지니어링은 매우 복잡해 수용할 수 없는 수준의 타협으로 이어지는 경우가 많다. 예를 들어 데이터 무결성을 위해 성능을 크게 희생해야 하는 경우가 여기에 해당한다.

성능과 관련한 주의 사항도 있다. 예측 불가능하거나 심각한 지연 및 높은 대역폭 소비는 애플리케이션 개발자가 실시간 기능을 설계, 구축, 확장할 때 불확실성을 유발한다. 지연과 대역폭 요건을 최소화하는 것 외에, 이러한 요소의 변동성도 최소화해서 개발자에게 경험에 대한 예측 가능성을 제공해야 하는 이유다. 전 세계적으로 분산된 내결함성을 갖춘 실시간 인프라를 직접 설계, 구축, 운영하기도 쉽지 않다. 내결함성을 달성하기 위해서는 복수의 데이터센터에 여러 중복된 구성요소를 구축해 다른 구성요소가 손실되더라도 시스템 운영을 지속할 수 있도록 해야 한다.

기업이 사업을 확대하면 인프라를 어떻게 구축했는지에 따라 이벤트 기반 아키텍처의 혜택을 누리거나 어려움을 겪게 된다. 부실한 인프라는 확장하거나 고객의 실시간 요구사항을 충족하는 데 필요한 탄력성을 제공하는 데 실패한다. 또한 대부분 기업에서 이벤트 기반 아키텍처를 위한 자체 인프라를 구축하는 것은 제품을 진정으로 차별화할 실시간 경험을 개발하는 데 방해가 될 뿐이다. 경쟁력 있는 경험을 제공할 만큼 탄탄한 수준의 인프라를 구축하기 위해서는 많은 인력 채용과 팀 내부의 기술적 성장이 필요하다.
 

에이블리 pub/sub 메시징

이와 같은 과제를 극복하기 위해 방법의 하나가 에이블리(Ably) 엣지 메시징 플랫폼이다. 규모와 지연, 메시지 무결성 또는 네트워크 중단을 관리할 필요 없이 개발자가 실시간으로 통신하는 앱과 인프라를 구축할 수 있는 API를 제공한다.

기기가 에이블리에 게시하는 메시지는 구독 기기(수에 제한 없음)에 의해 실시간으로 수신된다. 이를 위해 에이블리는 메시지 트래픽을 명명한 채널로 구성한다. 에이블리에 연결된 클라이언트는 게시자(에이블리로 메시지를 푸시), 구독자(에이블리의 메시지 푸시를 대기) 또는 두 가지 모두가 될 수 있다. 에이블리가 전송하는 메시지는 수십억 개에 달할 수 있지만 구독자는 구독한 채널의 메시지만 수신한다.

채널은 pub/sub 패턴을 구현할 수 있는 수단을 제공하며 게시자가 구독자에게 빠르고 효율적으로 데이터를 푸시할 수 있게 해준다. 새 데이터가 구독자에게 푸시되므로 구독자는 새 데이터를 확인하기 위해 서버를 폴링할 필요가 없다.

에이블리의 프레즌스 기능은 클라이언트가 채널에 자신의 존재를 알릴 수 있도록 한다. 에이블리가 실시간으로 모든 기기에 걸쳐 누가 존재하는지를 자동으로 추적하므로 개발자는 프레즌스를 통해 채팅방, 멀티플레이어 게임 또는 협업 툴과 같은 앱을 만들 수 있다. 채널에 존재하는 각 멤버에는 고유한 클라이언트 식별자, 그리고 들어오는 중, 상태 업데이트 중, 또는 채널 나가는 중과 같이 멤버의 상태를 설명하기 위한 옵션인 페이로드가 있다. 다른 기기 또는 서비스는 실시간으로 이와 같은 프레즌스 이벤트를 구독한다.

에이블리는 전 세계적으로 분산된 시스템이다. 채널은 여러 지역에서 상호 독립적으로 가동될 수 있으므로 단일 실패 지점 또는 혼잡 문제가 없다. 다음 그림은 에이블리가 효율적인 글로벌 라우팅 문제를 어떻게 해결하는지를 보여준다.
 

뉴욕의 게시자 전용 서버는 지연 기반 라우팅을 사용해 가장 가까운 데이터센터(US East)로 라우팅된다. US Easet로 게시된 메시지 A는 US East의 클라이언트로 라우팅되며, 이 메시지를 구독하는 클라이언트를 호스팅하는 다른 모든 데이터센터로 한 번 라우팅된다. 다른 모든 지역의 구독한 클라이언트는 연결된 데이터센터로부터 정확히 한 번 메시지를 수신한다.

런던의 게시자와 구독자 클라이언트는 지연 기반 라우팅을 사용해 가장 가까운 데이터센터(EU West)로 라우팅된다. EU West에 게시된 메시지 B는 EU West의 구독 클라이언트로 라우팅되며, 이 메시지를 구독하는 클라이언트를 호스팅하는 다른 모든 데이터센터로 한 번 라우팅된다. 다른 모든 지역의 구독한 클라이언트는 연결된 데이터센터로부터 메시지 B를 수신한다.
 

실시간 경험의 미래

현재 디지털 경험 분야에서는 실시간 혁명이 진행되는 중이다. 소비자는 디지털 경험이 즉각적이길 바라므로 기업은 실시간으로 데이터를 동기화해야 한다. 더 많은 기기가 온라인에 연결되고, 기업은 더 복잡한 실시간 데이터 경제에 적응해야 한다. 현재, 그리고 일상적인 서비스가 끊임없이 움직이는 데이터를 활용하게 될 미래의 실시간 데이터 동기화 요구사항을 충족하기 위한 더 쉽고 더 안정적인 인프라를 마련해야 한다.
editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.