보안

글로벌 칼럼 | 보안 솔루션의 효능을 측정하는 가장 객관적인 방법

Pete Lindstrom | CSO 2022.04.22
필자는 지난 몇 년간 끊임없이 다음과 같은 질문을 던졌다. “보안의 효능을 실제로 측정하는 방법이 있을까?” 이제 이 질문에 대한 답을 하고자 한다.
 
ⓒ Getty Images Bank

우선 효능은 ‘위험의 비례적 감소’를 계산해 측정한다는 점을 알아야 한다. 대표적인 예시가 코로나19 백신이다. 코로나19 백신의 효능은 한 모집단에 적용한 치료의 결과를 치료하지 않은 모집단과 비교해 계산한다. 즉, 각 백신 또는 위약을 3~4만 명에게 제공해 그 효과를 모니터링하고(모집단 수는 통계적으로 결정된다) 결과를 평가한다. 화이자와 모더나의 백신으로 코로나19 감염 사례가 약 95% 감소했으므로 이 수치가 곧 백신의 효능이다. 모든 질병과 질환에 대한 치료 효능은 이런 방식으로 계산할 수 있다.

사이버보안에서는 기본적으로 전문가의 경험과 그간의 모범 사례에 기반해 보안 관리 방안을 적용한다. 그렇다고 해서 주먹구구식은 아니다. 보안 업계에서는 분석을 위해 모든 비트를 캡처하고 궁극적으로 모든 비트와 바이트를 평가한다. 게다가 백신 실험에서는 누가 위험에 노출되었는지 확신할 수 없지만, 사이버보안은 차단된 트래픽과 활동을 적극적으로 확인할 수 있다. 즉, 보안 전문가는 기존 환경에서 수집한 데이터를 사용해 효능을 측정하고, 올바르게 추정했는지 확인할 수 있다. 사이버보안의 효능 측정은 차단된 모든 것이 법적으로 부정적인 결과라는 입장에서 시작한다.


이메일 보안의 효능 측정

이런 점을 염두에 두고, 표준 이메일 보안 솔루션과 관련한 수치를 살펴보자. 실제 데이터의 반올림 추정치를 사용했다. 오늘날 대부분 기업은 기본 이메일 필터를 사용해 명확하게 스팸 메일과 악의적인 메시지임이 드러나는 것을 차단한다. 익스체인지 온라인(Exchange Online)에서는 이를 엣지 보호(edge protection)라고 부른다. 그다음에는 일련의 필터를 통해 규칙 위반, 악성코드, DMARC(Domain-based Message Authentication, Reporting and Conformance) 정책 위반, 안티 스팸 서명과의 일치 여부 등을 찾아내는 ‘보안 세차’ 작업을 거친다. 심지어 최근에는 검사를 다시 하는 것도 가능해졌다.

필자는 한 기업에 발송된 메시지 약 15만 건을 기반으로 이메일 보안의 효능을 측정했다. 엣지 보호는 1만 건의 메시지를 즉각 필터링했고, 규칙 분석으로 그 외 2만 5,000건의 메시지를 필터링했다. ‘보안 세차’ 작업으로는 2,500건을, 제로 아워(zero-hour) 보호로 또 다른 20건의 메시지를 차단했다. 총 15만 건의 이메일에서 악성 메시지 3만 7,520건을 차단하고 남은 메시지는 11만 2,480건이었다. 

모든 차단 행위는 적절하게 수행되었다고 가정하므로 이런 보호 솔루션이 없었을 경우의 위험을 계산할 수 있다. 부적절한 이메일을 받을 확률은 약 25%(37,520/150,000)다. 이를 시작으로 보호 단계의 모집단 메시지 수 감소를 고려해 계산을 약간 수정하면 각 단계의 이메일 보안 솔루션의 효능을 확인할 수 있다. 

첫 번째 단계인 엣지 보호가 적용된 후에는 1만 건의 메시지가 차단됐기 때문에 부적절한 이메일을 받을 위험이 약 18%(27,520/150,000)로 감소했다. 엣지 보호에는 28%의 효능 점수가 부여된다. 나머지 14만 건의 메시지는 다음 단계로 넘어간다. 

규칙 분석 필터는 14만 건의 메시지에서 2만 5,000건의 악성 이메일을 추가로 필터링해 위험을 약 20%(분모 조정 후 27,520/140,000)에서 2%(2,520/140,000)로 줄였다. 규칙 분석 필터의 효능은 약 90%이므로 이메일 보안 솔루션에서 매우 중요한 역할을 한다는 것을 알 수 있다.

‘보안 세차’ 단계에서는 11만 5,000건의 메시지에서 2,500건의 악성 메시지를 걸러 위험을 2%에서 0.02%로 줄였고, 99%의 효능을 보였다. 또한 보안 세차 단계에서 재검사를 실시해 11만 2,500건의 메시지에서 제로 아워 악성 메시지를 추가로 20건 걸러냈다. 마지막 0.2%의 위험은 0%에 가까이 줄어든다.
 
메일 보안 효능 평가 진행 사항 ⓒ Peter Lindstrom/IDG


오탐지에 대처하는 방법

이메일 필터가 오탐지를 한 경우에는 어떻게 효능을 계산할까? 오탐지 항목이 식별되는 대로 측정하고 소급 적용하면 된다. 반드시 필요한 작업은 아니지만, 오탐지는 차단된 메시지를 샘플링하거나 차단되었을 수 있는 ‘누락된 이메일’을 참고하거나 조사해 식별할 수 있다. 오탐지는 발견될 때마다 숫자에 반영해서 계산을 조정하면 된다. 오탐지 타임라인을 구축해 위협 헌팅에도 활용할 수 있다. 

이런 숫자로 무장한 후 일단 계속해서 수정하고 반복하다 보면 숫자의 움직임을 파악할 수 있다. 대부분 솔루션은 효과적이지만, 숫자를 통해 대안 솔루션을 평가할 수 있다. 사이버보안 업계에서는 사고 발생을 극소수로 줄일 수 있는 솔루션을 보유하는 경우가 드물기 때문에 대체 솔루션 또는 추가 솔루션의 가치를 판단하는 것도 어렵다. 보안 프로그램의 객관적인 효능을 결정할 수 있는 유일한 방법은 시간이 지나며 이런 데이터를 축적하고 그 효능을 계산하는 것이다.
editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.