리뷰어와 AMD 모두 답을 찾기 위해 길고 구불구불한 길을 걸어왔다. 지난 밤, AMD는 여러 가지 문제가 복합적으로 얽혀 있음을 지적하는 커뮤니티 게시물을 공개했다. 테스트에 사용된 윈도우 모드의 차이, VBS 보안 설정, 라이벌 인텔 시스템의 구성 방식, 그리고 -언제나 그렇듯- 벤치마킹에 사용된 특정 게임 등을 이유로 들었다.
AMD 클라이언트 채널 부문을 이끄는 데이비드 맥아피는 PCWorld 풀 너드 특별판 영상에서 혼란을 줄이고정확히 무슨 일이 있었는지 설명해 주었다.
블로그 게시물을 읽고 맥아피의 설명을 들으면서 분명해진 것은, AMD의 새 CPU 성능 문제의 상당 부분은 필자가 테스트한 게임뿐만 아니라 AMD의 테스트 방식, 리뷰어의 테스트 방식에서 비롯되었다는 점이다. 다음은 AMD의 게시물에서 발췌한 내용이다.
“젠 5 아키텍처는 이전 젠 세대보다 더 넓은 분기 예측 용량을 통합했다. 당사의 자동화된 테스트 방법론은 '관리자' 모드에서 실행되어, 라이젠 9000 시리즈 테스트에 사용된 윈도우 리뷰어 버전에는 없는 분기 예측 코드 최적화를 반영하는 결과를 생성했다. 다음은 사용자를 위한 이 성능 액세스에 대한 추가 업데이트다.”
PC 사용자는 현재 “24H2”라고 불리는 윈도우 11의 연례 기능 업데이트가 올해 말 출시되기 시작하면 이러한 성능 개선을 체감할 수 있을 것이다. 분기 예측 최적화는 AMD가 테스트한 슈퍼 관리자 변경 사항을 모방한다. (레벨1테크의 웬델은 이미 이 패치에 대한 멋지고 괴상한 분석 동영상을 만들어 윈도우 11 참가자 프로그램 프리뷰 테스터에게 제공하고 있다.).
하지만 누구도 슈퍼 관리자 모드를 사용해 게임을 실행해서는 안 되며, 맥아피는 인터뷰에서 이를 강조했다. AMD가 그렇게 하는 이유는 무엇이며, 이번 세대에서 그 차이가 두드러진 이유는 무엇일까? 그것은 바로 슈퍼 관리자 모드에서 실행되며 여러 하드웨어 구성에서 제품을 대규모로 테스트하는 데 필요한 AMD의 확립된 자동화된 테스트 프레임워크에 관한 것이다. 맥아피는 이 때문에 사각지대가 발생했다고 말한다.
“과거에는 자동화 프레임워크가 구축되었을 때 슈퍼 관리자 모드와 사용자 모드에서 테스트 시 성능 차이는 무시할 수 있을 정도로 미미했고 차이가 거의 없었다. 하지만 시간이 지남에 따라 상황이 바뀌었고, 솔직히 AMD는 그 변화를 전혀 예상하지 못했다. 이 데이터를 수집할 당시에는 여러 세대에 걸쳐 동일한 프레임워크를 사용해 자동화 제품군을 통해 데이터를 수집했기 때문에 그 차이를 인식하지 못했다. 따라서 리뷰어가 애플리케이션을 테스트하는 방식과 사용자가 시스템에서 게임을 플레이하는 방식과 다소 동떨어져 있었던 것은 분명 AMD의 실수였습니다. 그리고 앞으로 제품에 대한 데이터를 수집하는 방식에서 이 점을 수정할 것이다.”
AMD가 눈치채지 못한 변화는 라이젠 9000의 초기 마케팅 수치를 떨어뜨린 원인 중 하나로 작용했다.
맥아피는 “컴퓨텍스에서의 테스트는 윈도우의 현재 출하 빌드인 23H2 환경이었는데, 윈도우의 여러 보안 계층을 우회하는 슈퍼 관리자 모드에서 실행되어 베어 메탈 성능에 더 가까워졌다. 이 두 가지 운영 모드에서 성능 차이가 얼마나 큰지 간과한 사례”라고 설명했다.
맥아피와 AMD의 커뮤니티 게시물은 게임 선택, 심지어 게임의 특정 장면 선택이 벤치마크 결과에 어떻게 영향을 미칠 수 있는지에 대해서도 언급하고 있으며, 이는 여러 미디어가 지속적인 보도로 암시한 사실이다. 맥아피는 테스트를 위해 내장 벤치마크를 사용하든 게임 내 장면을 수동으로 실행하든 상관없다고 설명한다.
“개별 게임 내에서도 CPU에 더 많이 의존하는 부분과 GPU에 더 많이 의존하는 부분의 시스템 균형에 따라 A 제품과 B 제품 간의 상대적 성능이 크게 달라질 수 있다. 두 제품 간의 상당한 차이를 확인할 수 있는 많은 게임을 살펴보고 그 차이를 효과적으로 확인할 수 있는 다른 장면을 선택할 수 있다고 생각한다.”
맥아피가 라이젠 9000 게이밍 벤치마크를 선택한 이유와 이번 세대의 일부 리뷰어 테스트에 놀랐던 점 등 더 많은 이야기는 팟캐스트 30분쯤에 들을 수 있다. 이 인터뷰는 매우 흥미로웠다. 이 과정에 분명한 생각과 의도가 있었음을 알 수 있으며, 일부 사용자가 암시하는 것처럼 단순히 “가장 좋은 게임을 보여주는 벤치마크”가 아니라는 것을 알 수 있다.
인터뷰 마지막에 공동 진행자인 고든 마 웅은 다음과 같이 간단하게 질문한다. “AMD가 리뷰어를 비난하는 건가, 하드웨어 리뷰어가 일을 망친 건가?”
맥아피는 “전혀 아니다”라고 대답했다.
맥아피는 “결국 AMD가 내린 일련의 결정이 리뷰어의 테스트 방식과 달라서 다른 결론에 도달한 것”이라고 말했다.
“리뷰어들이 잘못을 저질렀다거나 리뷰가 진행되는 과정에서 잘못된 점이 있었다는 말이 아니다. AMD도 전 세계의 라이젠 팬만큼이나 일부 리뷰 결과에 당혹스러웠고, 그 결과 이러한 차이를 만들어낸 여러 가지 요인이 있다는 다층적인 결론에 도달했다.
리뷰 테스트한 방식에는 미심쩍은 부분이 전혀 없다. 원인은 전적으로 AMD가 제품을 테스트하고 구성하는 방식에 제대로 이해하지 못한 부분이 있었고, 리뷰에서 게임을 선택하는 방식이나 제품을 테스트하는 방식과 AMD의 방식이 다르기 때문이었다. 리뷰어나 리뷰어의 테스트 방식에 대한 비판이 아니라 설정과 구성에 상당한 차이가 있어 A 지점과 B 지점의 위치가 다르다는 의미이며, AMD는 이제 그 점을 이해했다.”
데이비드 맥아피와의 AMD 라이젠 인터뷰 전문을 보면 하나의 얕은 언덕이 산으로 바뀌는 과정을 이해할 수 있을 것이다. 이 요약은 빙산의 일각에 불과하다. AMD가 인텔 테스트 시스템을 구성한 이유, 윈도우 11의 VBS 기능이 중요한 영향을 미친다는 점, 윈도우 10 사용자도 분기 예측 최적화를 받을 수 있는지, AMD가 이러한 혼란을 고려해 라이젠 9000의 출시를 연기하지 않은 이유, 코어 파킹 같은 더 많은 흥미로운 세부 사항은 풀 너드 전체 영상에서 확인할 수 있다.
editor@itworld.co.kr