퍼스널 컴퓨팅

SPEC, 인텔 제온 CPU 벤치마크 조작 의혹 제기

Michael Crider | PCWorld 2024.02.19
벤치마크 테스트와 결과는 기본적으로 논쟁의 여지가 있고, 항상 실제 성능을 그대로 대변하지는 않는다. 그러나 모든 정량적 평가에서 중요한 도구임은 분명하다. 성능과 수치에 집착하는 하드웨어 애호가뿐 아니라 기업도 수백만, 수십억 달러 규모의 투자를 결정할 때 서드파티 벤치마크 결과를 참고한다.

따라서 저울에 몰래 손가락을 올려놓는 기업의 존재가 드러나면 파장이 클 수밖에 없다. 최근 인텔 제온 CPU 벤치마크의 경우다.
 
ⓒ Intel

성능 벤치마크 표준화 기구이며 산업 SPEC CPU 2017 테스트의 2022와 2023버전에서 제온 프로세서의 자체 테스트 결과 2,600개 이상을 발표한 SPEC(Standard Performance Evaluation Corporation)은 인텔이 인용한 컴파일러가 “523. 3.xalancbmk_r/623.xalancbmk_s 벤치마크 성능을 향상시키는 컴파일을 수행해, 코드에 대한 사전 지식을 사용하고 적용 범위가 좁은 최적화를 수행했다”라고 밝혔다.

쉽게 풀어쓰자면, SPEC은 인텔이 특정 벤치마크에 적합하게 컴파일러를 최적화했다고 비난하고 있다는 뜻이다. 또, 벤치마크 결과로 사용자가 실제 성능을 예측하고 참고해서는 안 된다는 의미다. 인텔의 커스텀 컴파일러는 SPEC 테스트 결과를 최대 9% 부풀렸다는 혐의를 받고 있다. 더 기술적인 세부 정보는 서브더홈포로닉스를 참고하라.

SPEC은 자체 벤치마크 데이터베이스를 검토하면서 인텔의 조작 사실을 발견했고, 기록을 남기기 위해 벤치마크를 삭제하지는 않으나 자체 보고서에서는 결과를 무효화했다. 최신 산업용 제온 프로세서인 5세대 에메랄드 래피드 시리즈의 새 버전 컴파일러는 성능 개선 API를 사용하지 않는 것으로 알려졌다.

제온 프로세서와 SPEC 2017 테스트는 모두 거대 산업과 교육용 애플리케이션에 맞게 설계된 고급 하드웨어이므로 일반적인 개인 사용자 시장과는 관련이 없다. 

벤치마크 결과가 주목받기를 바라는 업체가 여러 모로 손을 쓰는 것은 새로운 일이 아니다. 최근에는 모바일 칩 공급업체(퀄컴, 삼성, 미디어텍 등 아이폰 외 스마트폰 대다수에 칩을 공급) 업계 전반이 지난 2020년 안드로이드 성능 벤치마크 결과를 조작했다는 혐의가 제기됐다. 특정한 매개변수가 없어 검증이 어려운 업체 자체 벤치마크의 결과 조작은 더 흔한 것으로 알려져 있다.
editor@itworld.co.kr 
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.