예측 분석, 네트워크 고장 방지의 핵심이 되다

잠재적인 네트워크 고장 및 성능 문제의 식별과 탐지는 오래 전부터 교육을 통한 추측에 의존해야 했다. 하지만 새로운 세대의 예측 분석(predictive analytics) 툴의 등장으로 네트워크를 더욱 높은 정확도로 예측해 직원들이 네트워크 운영에 영향을 끼치기도 전에 특정 문제를 해결하고 처리할 수 있게 되었다.

예측 분석을 통해 CIO들은 말 그대로 미래를 볼 수 있게 되었다. 에릭슨(Ericsson)의 기술 및 혁신 책임자 디오메디스 카스타니스는 "네트워크가 점차 동적 애플리케이션 수요에 적응할뿐만 아니라 특수 이벤트, 계절적 변동 등에 대해서도 능동적으로 해결해야 한다"고 말했다. 카스타니스는 "네트워크 관리와 운영을 위한 자동화 시스템과 규칙이 많지만 급변하는 환경에 대응하고 변화하는 수요에 선제적으로 대응하기에는 여전히 역부족이다"고 설명했다.

새로움의 충격
많은 CIO에게 있어 머신러닝(ML)과 인공지능(AL) 등이 융합된 예측 분석은 상대적으로 새로운 개념이다.

사이버 보안 연구업체 NSS 랩스(NSS Labs)의 책임자 브라이언 솔데이토는 "기업 시장에서 새로운 기술을 입증하기 위해서는 시간이 소요되며 아직은 초기 단계"라며, "대부분 예측 분석 기능이 있는 보안 플랫폼과 엔드포인트 기술에서 도입이 이뤄지고 있다"고 말했다.

예측 분석은 지난 수년 동안 AI와 관련한 분야의 발전 덕분에 크게 향상되었다. 오픈소스 딥 러닝 프레임워크인 Deeplearning4j를 지원하는 AI 개발업체 스카이마인드(Skymind) CEO 크리스 니콜슨은 "네트워크 로그 등 시계열 데이터에 기초한 예측은 점차 정확해지면서 유용해지고 있다"며, "정확도의 수준은 데이터 세트의 품질에 좌우된다"고 설명했다. 니콜슨은 "일부 문제에서는 딥 러닝이 두 자릿수의 정확도를 달성할 수 있다"고 말했다.

카스타니스는 "에릭슨이 자사의 네트워크에서 예측 분석 최적화를 조사하고 있다"며, "현재 다양한 AI 구성요소의 선두 기술 파트너들과 함께 딥 러닝, 의사 결정 이론(Decision Theory), 시맨틱 추론(Semantic Reasoning) 등의 첨단 기술을 실험하고 있다"고 밝혔다.

액센추어(Accenture)의 디지털 네트워크 배치 및 분석 책임자 자이언루카 노야는 "이제 예측의 5배에 해당하는 이력만 있으면 95% 이상의 정확도로 수요와 서비스 경험 등의 미래 네트워크 행동을 예측하는 것이 가능하다"고 밝혔다. 노야는 "다시 말해 다음 달의 데이터를 예측하기 위해서는 5개월분의 이력 데이터가 필요하다"고 말했다.

컴퓨터의 능력과 분산형 스토리지의 발전으로 패킷 수준의 네트워크 데이터를 무제한으로 활용할 수 있는 길이 열렸지만 대부분의 네트워크 운영업체는 이런 강력한 잠재력을 가진 자원을 활용하지 못하고 있다. 노야는 "기술 조력자에 대한 투자를 통해 여러 시도가 이뤄지고 있지만 데이터 중심적인 운영 모델의 혁신적인 효과를 고려한 전체론적인 접근방식의 부재로 인해 좌절되는 경우가 많다"고 설명했다.

예측 능력 요건
SAS의 정보 기술 책임자 스티븐 토이는 "향후 네트워크 용량 수요를 적절히 파악하는 것은 상대적으로 간단한 예측 분석 문제"라고 말했다. 토이는 "측정에 관심이 있는 지표를 파악하고 네트워크 용량 데이터를 획득하며 비교하라"고 권고했다.

예를 들어, 조직은 용량의 75%에 도달하면 서킷(Circuit)을 업그레이드하고 싶어한다. 토이는 "수개월 동안 데이터를 수집하고 향후 3~4개월을 예측하면 새로운 서킷을 제공할 수 있다"고 말했다. 토이는 "분석에 따라 3~4개월 후에 75%에 도달하는 경우 조달 과정을 시작하라"고 조언했다.

노야는 "예측 알고리즘은 교통, 서비스, 장비, 사용자 행동에 적용할 수 있으며, 특히 표준 네트워크 통계 계획 활동을 확대해 네트워크와 기술 성능의 훨씬 많은 차원을 아우를 수 있다"며, "현재 용량 계획 접근방식은 기준 제공자들이 인증하고 엔지니어링 디자인으로 뒷받침되는 기준 성능 KPI에 의존하고 있다"고 밝혔다.

노야는 "AI/머신러닝 알고리즘의 적용으로 정적인 KPI를 통해 가능한 수준을 넘어 성능을 향상시키기 위한 지속적인 학습 과정을 통해 이 접근방식을 개선할 수 있다"고 설명했다.

성능과 품질 확보하기
또한 노야는 "네트워크 성능과 품질 문제의 경우 예측 알고리즘은 분석의 여러 차원을 관리하고 어떤 이벤트가 결과에 가장 큰 영향을 끼치는지 판단하는데 도움이 된다"고 말했다.

딥 러닝은 특히 네트워크 성능과 품질 최적화에 있어서 유용한 툴이 될 수 있다. 니콜슨은 "예측하고자 하는 이벤트 기록이 포함된 데이터 세트가 있는 경우 이 데이터로 심층신경망을 훈련할 수 있다"고 말했다. 딥 네트(Deep Net)를 적절히 훈련하면 이런 이벤트가 발생할 가능성이 있는 시점을 정확하게 예측할 수 있다. 니콜슨은 "(예를 들어) 용량 문제를 정확하게 예측할 수 있으면 선제적으로 행동을 취해 네트워크에서 부하의 균형을 조정하고 네트워크에 더 큰 용량을 제공할 수 있다"고 설명했다.

토이에 따르면, 네트워크 성능과 품질 문제는 제조 문제와 유사하다. 토이는 "제조 공정에 대한 데이터가 많고 수리 센터에 접수되는 문제에 대한 정보가 많을수록 고장을 더욱 쉽게 예측할 수 있다"고 말했다. 토이는 "오류율을 예측함으로써 네트워크의 경계와 중심부에서 고장 및 성능 문제를 예측하고 로그에 기초해 부품 고장을 예측하며 문제를 감지하기 전에 조치를 취하라"고 덧붙였다.

또한 예측 분석은 사용 유형에 기초해 데이터 트래픽 패턴의 트렌드를 검사하고 발생 가능한 문제를 발견할 때마다 조기 경보를 제공할 수 있다.

전문 서비스 업체 KPMG CIO 네트워크 인프라 자문 책임자 아티프 미어는 "예를 들어, UDP(User Datagram Protocol)을 사용하는 낮은 우선순위 실시간 트래픽은 더 높은 우선순위 트래픽이 영향을 받기 전에 성능 문제를 파악하기 시작한다"고 말했다. 뛰어난 예측 분석 툴은 영향을 예측할 수 있으며 성능이 뛰어난 경우 이런 영향을 피하기 위해 변경사항을 적용할 수 있다.

선제적 보안
대부분의 네트워크는 침입 탐지와 패킷 분석을 지원하는 방화벽을 통해 보호한다. 하지만 공격자들은 더욱 스마트하고 교활한 방법을 택하고 있다. 미어는 "오늘날 사이버 범죄자들은 더욱 정교하고 조직화되어 있으며 기업처럼 후원을 받는다"며, "네트워크를 선제적으로 보호하기 위해서는 아주 다른 접근방식이 필요하며 예측 분석이 바로 그런 것이다"고 말했다.

예측 분석을 통해 보안 분석 플랫폼은 시스템, 장비 또는 사용자의 비정상적인 행동을 인지할 수 있다. 솔데이토는 "이를 통해 필수적인 공백이 메워진다"며, "차세대 방화벽(Next-Generation Firewall, NGFW)와 엔드포인트 기술을 통해 예측 분석은 파일을 다운로드하고 실행하거나 단순히 저장할 때 파일의 구동 방식 측면을 인지함으로써 잠재적인 외부 또는 심지어 제로데이(Zero Day) 위협을 선제적으로 식별할 수 있다"고 설명했다.

내부자 위협 위험 완화와 신속한 보안 유출 탐지는 그 어느 때보다도 중요하며 예측 분석은 인간 관찰자가 놓치는 단서를 제공할 수 있다. 토이는 "예측 분석은 네트워크 플로우(NetFlow) 또는 sFlow(sample Flow) 데이터와 함께 네트워크에서 (최종 사용자를 포함해) 장치의 위험을 측정하고 위험이 가장 높을 때를 예측할 수 있다"고 말했다. 토이는 "네트워크 유출로 인한 피해 비용은 일반적으로 수백만 달러"라며, "유출을 더욱 신속하게 탐지하고 시정할수록 비용과 기업의 명성에 대한 영향이 감소한다"고 설명했다.

비용 관리
여러 기술 대안이 존재하는 경우 네트워크 가격 설정 구조 비교가 복잡해진다. 미어는 "SDN(Software Defined Network)에 예측 분석을 결합하면 예측을 간소화하고 네트워크 비용을 조정하는데 도움이 될 수 있다"고 말했다.

솔데이토는 "예측 분석을 이행한 분석 플랫폼은 많은 양의 네트워크 데이터를 받아들여 처리할 수 있는 능력이 있기 때문에 네트워크 비용을 분석하는데 도움이 될 수 있다"고 설명했다. 예측 분석은 기업들이 네트워크 사용량, 성능, 품질이 향후 수개월 또는 수년 후에 어떻게 될 지 파악할 수 있는 플랫폼을 이용한 선제적인 예측 기술이다. 솔데이토는 "결국 기업이 네트워크 업그레이드, 새로운 장치, 직원에 대비하고 예측하는데 도움이 된다"고 덧붙였다.

노야는 "네트워크 비용 예측의 전제 조건으로써 CapEx(Capital Expenditure)와 OpEx(Operating Expenditure)가 특정 기술 서비스 또는 최종 고객 제품에 도움이 될 수 있는 네트워크 할당 비용 기초를 구축해야 한다"고 말했다.

노야는 "네트워크 요소가 여러 제품과 서비스를 지원하는 융합형 운영사에게는 어려운 프로세스이지만 궁극적으로 제품과 서비스의 총 소유 비용을 정확하기 파악하기 위해서 필요하다"고. 또한 네트워크 인벤토리가 조달 카탈로그와 일치해야 네트워크 디자인, 네트워크 용량, 확장 비용 사이의 연속성을 구축할 수 있다. 노야는 "네트워크 예측 용량 분석은 미래의 비용을 파악하기 위해 도입한다"고 설명했다.

예측 분석 시작하기
네트워크 최적화를 위한 예측 분석 배치의 첫 걸음은 과거의 문제에 대해 명확히 정의된 이력 증거를 수집해 정리하는 것이다.

IoT 소프트웨어 개발업체 그린웨이브 시스템즈(Greenwave Systems)의 부사장이자 엔지니어링 시스템 설계자 존 크루피는 "무엇이 비정상적인지 파악하기 위해서는 무엇이 정상적인 기능을 구성하는지 알아야 한다"며, "네트워크의 속성에 따라 성능 문제의 증가가 정상이거나 다가올 심각한 문제를 조기에 알리는 지표일 수 있다"고 말했다.

또한 CIO는 예측 분석 전략과 비즈니스의 필요를 연계시킨 로드맵을 설정해야 한다. 미어는 "이 전략의 범위 내에서 개념 증명으로 사용할 수 있는 관리 가능한 목표를 선택하라"며, "다음 단계는 그 가변성에 기여하는 모든 요소를 파악하고 변수에 대해 제공되는 모든 데이터/로그에 접근하는 것이다"라고 말했다.

크루피는 "예측 분석을 시작하기에 가장 좋은 방법은 예측 분석부터 시작하는 것이 아니라 시스템 전반의 행동 패턴을 파악하고 식별하는 것이다"며, "이런 패턴은 예측 분석 적용을 위한 기초를 설정한다"고 설명했다.

카스타니스는 "예측 분석 플랫폼을 배치할 수 있게 되면 머신러닝 모델에 상당한 양의 훈련 데이터를 제공하라"고 조언했다. 그리고 나서 인간 전문가로 하여금 초기 예측을 검증하고 머신러닝 모델의 정확도가 지속적으로 증가해 기준 기대치를 넘어설 때까지 전문가의 승인에 따라 네트워크 변경을 실행하라.

카스타니스는 "머신러닝 모델의 정확도에 대한 탄탄한 사례 연구가 있을 때까지 운영업체들은 머신러닝 모델이 자율 네트워크 관리를 위해 변경사항을 적용하도록 허용할 때의 위험을 감수하는 것에 대해 비판적일 것이다"고 덧붙였다.

예측 분석은 분석 전략의 일부, 하지만 가치있다
크루피는 "예측 분석은 솔루션이 아니라 전략에서 파생된 툴"이라며, "전체적인 분석 전략의 일부분에 지나지 않는다"고 평가절하했다. 크루피는 "많은 조직이 예측 분석을 원하며 즉시 훈련 모델을 시작하여 고장을 예측하고 싶어한다. 하지만 좋은 생각이 아니다. 예측 모델 훈련은 엄청난 양의 데이터가 필요하며 데이터 공학자들이 이런 환경에 접근할 수 있어야 한다. 기본 분석과 시각화부터 시작해 현상을 '보기' 시작하는 것이 가장 좋다"고 설명했다.

카스타니스는 자신의 경험에 비추어 예측 분석이 제공할 수 있는 이점이 이 기술을 구성하고 배치하기 위해 필요한 모든 시간과 노력만큼의 값어치가 있다고 말했다. 카스타니스는 "네트워크 성능을 크게 안정화하고 네트워크 관리의 OpEx를 최적화하는 놀라운 아이디어기 때문에 네트워크 관리가 훨씬 효과적이게 된다"고 말했다. editor@itworld.co.kr