보안

"완벽한 대응법이 없다" 버퍼 오버플로우 공격의 이해

Lucian Constantin | CSO 2020.01.29
버퍼 오버플로우(Buffer Overflow) 또는 오버런(Overrun)은 일종의 메모리 안전 문제이다. 프로그램이 할당된 고정 길이(Fixed-length) 메모리 버퍼의 한계를 제대로 확인하지 않고 보유할 수 있는 것보다 많은 데이터를 쓰는 경우다. 이로 인해 데이터가 인접 메모리 공간으로 넘쳐서(overflow) 그곳에 있는 정보를 덮어쓰게 되고, 종종 충돌이나 악용 가능한 상태를 유발한다. 
 
ⓒ Getty Images Bank

버퍼 오버플로우는 임의로 악성 코드를 실행하는 가장 오래되고 흔한 취약점 공격 방법 중 하나다. C/C++ 프로그래밍 언어로 작성된 애플리케이션은 다른 언어보다 이러한 코드 오류의 가능성이 높다. 이를 피하기 위해 개발자 커뮤니티는 안전한 코딩 관행을 만들었으며, 주요 소프트웨어 업체는 이를 안전한 개발 수명 주기의 일부로 채택했다.
 

점점 늘어나는 버퍼 오버플로우 취약점

2019년 9월, 소프트웨어 취약점 목록(Common Weakness Enumeration, CWE) 카탈로그를 작성하는 마이터 코퍼레이션(Mitre Corporation)은 ‘가장 위험한 소프트웨어 오류 25개’를 발표했다. 그 중에서도 최악의 오류는 “CWE-119: 메모리 버퍼의 한계 내에서 이뤄지는 운영에 제대로 된 제한을 걸지 못해서 생기는 오류”였다. 버퍼 오버플로우와 한계를 벗어난 읽기를 포함하는 더 큰 클래스의 버퍼 처리 오류다. 

이 자료를 보면 버퍼 오버플로우를 없애기 위한 수년의 노력에도 불구하고 여전히 최고 위험 순위를 유지하고 있음을 알 수 있다. 마이터가 2011년 이후 가장 위험한 소프트웨어 오류 25개를 업데이트한 것은 이번이 처음이다. 이 순위는 2017년과 2018년에 걸쳐 관찰된 미 국토안보부 산하의 NVD(National Vulnerabilities Database)의 취약점 빈도와 평균 심각도를 결합한 새로운 점수 공식을 기반으로 했다. 따라서 이 목록은 특정 시점에 특정 위치에 발생하는 취약점(유병률)과 그로 인해 발생하는 위험에 따른 특정 유형의 약점과 관련된 전반적인 위험을 반영했다고 볼 수 있다.

버퍼 오버플로우가 다시 주목받는 이유는 또 있다. 지난 몇 년간의 연구에 따르면 시장에서의 입지가 확고한 업체의 최신 데스크톱 애플리케이션에 비해 코드 품질이 낮은 사물인터넷(IoT) 기기가 증가하고 있기 때문이다. 임베디드 시스템의 펌웨어는 오랫동안 지속적으로 버퍼 오버플로우 문제투성이였으며 이런 모호한 코드 기반은 대개 주요 정밀검사를 받지 않아서 몇 년 동안 큰 개선이 없었다. 같은 기간 인터넷, 비즈니스 네트워크, 가정으로 이러한 기기가 계속 퍼져나가고 있다.
 

대표적인 버퍼 오버플로우 해킹 사례

버퍼 오버플로우는 공격자가 덮어쓴 메모리 공간을 대상 버퍼 외부에서 제어하고 함수 포인터를 악의적인 코드로 리디렉션하는 경우 무단 코드 실행으로 이어질 수 있기 때문에 일반적으로 심각도 순위가 높다. 임의 코드를 실행할 수 없는 경우에도 버퍼 오버플로우로 인해 종종 충돌이 발생하고 애플리케이션의 가용성과 처리하는 프로세스에 영향을 주는 서비스 거부(Denial of Service, DoS) 조건이 발생한다. 이는 특히 지속적인 가용성이 필요한 서버에서 치명적이다.

경우에 따라 공격자는 버퍼 오버플로우를 사용해 애플리케이션 메모리의 중요 설정을 덮어쓸 수도 있다. 예를 들어 사용자가 관리자인지 여부를 나타내는 플래그를 덮어쓸 수 있다. 이는 애플리케이션과 잠재적으로 시스템 자체의 맥락에서 권한 상승으로 이어질 수 있다. 

마지막으로 버퍼 한계(경계)를 잘못 처리하면 공격자가 버퍼 외부의 데이터를 덮어쓰지 않고 읽을 수 있으므로 민감한 정보가 공개될 수 있다. 이를 범위를 벗어난 읽기라고 한다. 일반적인 버퍼 오버플로우와는 다르지만, 범위를 벗어난 읽기는 동일한 범주의 코딩 오류에 속한다. 범위를 벗어난 읽기는 공격자가 다른 취약점을 악용하는데 도움이 되는 정보를 얻기 위해 사용할 수 있다. 예를 들어 랜덤 메모리 주소 체계인 ASLR(Address Space Layout Randomization)과 같은 커널 악용 방지 기술로 보호되는 메모리 주소를 공개하는데 사용될 수 있다. 
 

버퍼 플로우를 방지하는 방법

버퍼 오버플로우는 프로그래밍 오류의 결과이다. 따라서 이를 방지하는 가장 좋은 방법은 개발자가 오류를 피하도록 교육하는 것이다. 보안 코딩 인증 프로그램뿐만 아니라, 다양한 보안 코딩 가이드, 서적을 참고하는 것도 버퍼 오버플로우를 해결하는 데 도움이 된다. CERT 코디네이션 센터(CERT Coordination Center)와 카네기 멜론 대학의 소프트웨어 공학 연구소는 C와 C++을 비롯한 여러 프로그래밍 언어에 대한 코딩 표준을 개발했다. 

버퍼 오버플로우를 방지하는 자동화된 방법도 있다. 메모리 안전 프로그래밍 언어나 프레임워크, 버퍼 오버플로우를 일으키기 쉬운 함수에 대한 안전한 버전을 제공하는 라이브러리를 사용하는 것이 대표젹이다. 또한, 개발자가 ASLR과 위치 독립 실행 파일(position-independent executables, PIE) 같은 기능을 사용하는 애플리케이션을 만들어 버퍼 오버플로우의 잠재적 영향을 제한할 수 있다. 이밖에 컴파일러 플래그 및 확장을 사용하면, 마이크로소프트 비주얼 스튜디오의 /GS 플래그, 레드햇, 스택가드(Stackguard), 프로폴리스(ProPolice)가 추가한 FORTIFY_SOURCE GCC 플래그와 같은 오류를 탐지할 수 있다.

그러나 불행히도 이러한 솔루션 중 완벽한 보호를 제공하는 것은 없다. 내외부 보안팀이 함께 주기적으로 코드를 검토하고 애플리케이션 보안 테스트를 수행해야 하는 이유다. 퍼저(fuzzers)와 같은 도구를 자동화된 테스팅 워크플로우에 통합하는 것도 중요하다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.