AI 기반 DDoS 공격, 머신러닝 비지도 학습으로 대응하라

IP 주소를 스푸핑 당한 적법한 소스는 UDP 서버가 요청을 다시 반환해 보낼 때 붕괴된다. UDP 서버는 악성 공격의 신원을 숨기는 반사기(리플렉터) 역할을 한다. 증폭 공격은 응답의 크기가 일반적으로 서버 요청의 크기보다 훨씬 더 크다는 점을 악용하는 공격이다. www.network-insight.net으로 전송된 간단한 요청에 수많은 IP 주소의 응답과 추가 정보가 포함될 수 있다. DNS 서버가 요청을 200배 증폭시킬 수 있다면, 증폭과 반사 기법, 100Mbps로 200Gbps의 공격을 생성할 수 있다. 수만 개의 반사기가 있으면 어떤 일이 일어날지 짐작하고도 남을 것이다.

3, 4, 7 계층 공격에 기반을 둔 변종 공격과 즉시 사용할 수 있는 도구들이 등장했다. 그러면서 더 쉽고 저렴하게 공격을 런칭할 수 있게 되었다. 공격 변종 간 주요 차이점은 세션 생성 능력이다. 스택에서 세션 소진(고갈)을 높이는 SSL(Secure Socket Layer) 세션을 예로 들 수 있다. 세션 탈취 시도를 하지 않고, 응답을 기다리지 않은 상태에서 수많은 ICMP(Internet Control Message Protocol)을 전송할 수도 있다.

이런 기법이 결합되어 아주 위험한 3, 4, 7 기반 공격이 개발됐다. 전통적인 볼륨메트릭(Volumetric) 공격이 애플리케이션에 초점이 맞춰진 7 계층 공격과 결합되는 경우가 많았다. 볼륨메트릭은 7 계층 기반 공격을 위장하는 데 사용되었다. 애플리케이션 공격은 악당들의 '온상’이다. 각 웹 애플리케이션마다 공격할 수 있는 영역이 무한대로 많다. 여기에 더해 선택할 수 있는 공격 변종도 많다. 무작위 페이지 공격 생성 도구와 임의화 기법도 무수히 많다. 웹 보안 업체에는 전적으로 불리한 상황이다. 많은 취약점을 스캔해 감지할 능력은 갖췄지만, 무한대의 서명을 감지할 수는 없기 때문이다.

해커들이 자동 멀웨어 확산과 IoT를 결합하기 시작하면서 상황이 더 악화되었다. 이미 대규모 공격이 여러 차례 발생했고 아주 견고한 네트워크까지 붕괴됐다. 기존 C&C는 그렇게 정교하지 않았다. 그러나 ‘빅 브라더’ IoT C&C 서버는 훨씬 더 동적이고, 방어 메커니즘의 응답(대응)을 토대로 몇 초 간격으로 변경되어 최적화 상태를 유지하도록 봇넷을 제어할 수 있다.

전통적인 C&C보다 훨씬 더 지능이 높은 봇넷은 더 이상 정적인 도구가 아니다. 각 봇넷이 각자 동작하고 작업한다. 수많은 소규모 부대가 각자 동일한 표적을 공격할 수 있게 되었다는 의미다.

인공 지능(AI)의 부상
그런데 이제 전혀 다른 형태의 DDoS 공격의 시대로 진입하고 있다. 새로운 시대의 공격은 IoT 기반 공격, 인공 지능, 다양한 피드백 루프, 자동 최적화의 위력을 모두 갖고 있다.

인공 지능은 사람의 개입 없이도 방어 메커니즘의 대응에 맞춰 자동으로 파라미터와 서명을 변경하고, 계속 최적화한다. 하나의 인공 지능에 매달려 보안 전문가들이 날을 새워야 할지도 모른다. 이런 문제를 방지하려면 사전에 미리 대비해야 한다.

AI 기반 방어 메커니즘은 지도 학습과 미지도 학습으로 나눠진다. 교사가 특정 질문과 대답, 사전에 정의된 커리큘럼을 가지고 교육하는 방식이 지도 학습이다. 반면 미지도 학습의 경우 교사도 없고, 한정된 커리큘럼도 없다. 학생의 요구 사항 변화에 맞춰 스스로 커리큘럼을 발전시킨다.

지도 학습의 경우 상황을 극복할 수 있는 '예제(예, 실례, 보기)’를 공급(입력)해야 한다. 예제가 충분할 때는 닫힌 문제가 된다. 그러나 AI 기반 공격에 있어서는 많은 단점이 존재한다. 기존에 입력한 ‘예제’와 다른 멀웨어의 경우 어떻게 될까? 시스템이 이를 식별해 적절히 다룰 수 있을까? 그러지 못할 수도 있다. 이 경우, 긍정 오류가 증가하기 시작한다.

더 우수한 것은 미지도 학습이다. 시스템에 예제를 공급할 필요가 없기 때문이다. 방어 메커니즘의 대응에 따라 계속해서 동작을 바꾸는 머신을 방어할 때도 효과적이다. 미지도 학습은 문제가 바뀔 때 스스로 여기에 맞춰 조정 및 변화하는 능력을 갖고 있기 때문이다. 지도 학습이 갖고 있는 중대한 문제는 특성상 트래픽 패턴을 예측하기 불가능하다는 것이다. 소스와 대상 IP 엔드포인트는 불변 상태로 유지될 수 있지만, 헤더와 메시지 본문은 다양하게 바뀔 수 있다. 지도 학습의 중대한 문제점은 이런 ‘변종'이다.

모든 애플리케이션 트래픽 프로필, 잠재적인 공격 벡터에 대한 예제를 예측해 생성하기란 불가능하다. 모든 영역을 다룰 수 없다. 모든 상황을 다룰 수 있을 정도로 충분한 예제를 지도 머신 학습 시스템에 공급할 수 없다. 따라서 스스로 환경을 분석하고, 사람의 개입 없이도 최상의 방어 경로를 파악하고, 긍정 오류를 최소화시킬 수 있는 시스템이 필요하다. 동적으로 알려진 환경, 알려지지 않은 환경을 학습해 조정을 할 수 있는 시스템이다.

지도 학습이 어느 정도 도움을 줄 수는 있다. 그러나 동적(가변적) 변수가 가득한 환경에 필요한 시스템은 이런 변화에 맞춰 스스로 조정하고, AI 기반의 공격이 가져올 불확실한 미래를 예측할 수 있는 시스템일 것이다.

공격자들은 아주 빠르게 움직인다. 얼음이 녹는 속도와 비교할 수 있다. 얼음은 움직이지 않지만, 지금 우리에게 필요한 것은 얼음을 부술 망치가 아닌, 물을 분석해 독이 있는지 판단하게끔 도와주는 도구다. 다름 아닌 미지도 학습을 도입해 활용해야 하는 이유가 여기에 있다. editor@itworld.co.kr