2019.10.08

글로벌 칼럼 | “싼 게 비지떡” 윈도우 품질 테스트 크라우드소싱 전략

Preston Gralla | Computerworld
윈도우 인사이더 프로그램은 수많은 사람이 참여해 윈도우의 정식 출시 이전 버전을 점검한다. 보수도 받지 않는다. 하지만 이 전략이 제대로 돌아가지 않는다는 것이 분명해졌다.

몇 주 후에 나올 다음 버전 윈도우 10은 버그가 없을까? 마이크로소프트가 아니라 어떤 소프트웨어 업체라도 무리한 기대일 것이다. 그렇다면 새 버전 윈도우 10은 전 세계 PC에 참혹한 무엇인가를 가져와 기업의 생산성을 수렁에 빠뜨릴 것인가? 기대치를 조금만 낮추면, 그런 일은 일어나지 않을 것이다.
 
ⓒ GettyImagesBank

윈도우 업데이트는 최근 수년 동안 다사다난한 과정을 겪었다. 최악의 업데이트는 아마도 사용자의 파일을 아무런 경고도 없이 영구적으로 삭제해 버리는 사고를 낸 2018년 10월 업데이트일 것이다. 하지만 이것이 유일하게 나쁜 기억이라고 말하기는 어렵다.

마이크로소프트는 무엇을 잘못했길래, 많은 사람들이 새로운 윈도우 업데이트를 기대보다는 두려움으로 바라볼까? 문제는 바로 윈도우 인사이더이다. 마이크로소프트에 윈도우 출시 전 문제를 보수도 없이 보고하겠다고 참여한 수백만의 사람을 말하는 것이 아니다. 필자가 지적하고 싶은 것인 인사이더 프로그램 자체이며, 진정한 마이크로소프트 내부자, 즉 직원이 배제되었다는 것이다.

윈도우 인사이더는 윈도우의 출시 전 버전을 테스트하고 버그를 마이크로소프트 피드백 허브(Feedback Hub)를 사용해 보고하겠다고 약속한 사람들이다. 이를 통해 인사이더가 얻는 혜택은 운영체제의 출시 전 버전을 사용할 수 있는 ‘특권’이다. 물론 출시 전 버전의 윈도우는 안정성이 떨어지고 버그투성이인 경우가 많으며, 흔히 마무리가 부족할 뿐만 아니라 제대로 동작하지 않거나 윈도우 자체를 죽일 수도 있는 기능이 포함되어 있다. 많은 인사이더에게는 다음 버전 윈도우에 어떤 기능이 들어있는지를 미리 볼 수 있다는 것을 자랑할 권리가 생긴다.

마크 트웨인의 말처럼 “일이란 몸이 해야 하는 것으로 구성되어 있고, 놀이란 몸이 하지 않아도 되는 것으로 구성되어 있다.” 사람들은 인사이더가 되어야 할 필요가 없다. 하지만 특권이란 이름 자체만으로도 아무나 할 수 없는 고급스러움을 암시하는 느낌이다. 사실 인사이더는 누구나 될 수 있지만 말이다.

마이크로소프트는 인사이더가 버그를 조기에 발견해 윈도우가 더 안정적으로 동작하도록 만드는 데 일조한다고 말한다. 하지만 잘 생각해 보면 이상한 말이다. 이 말은 마치 윈도우 인사이더 프로그램 이전에는 제대로 테스트도 안하고 윈도우 업데이트를 출시한 것처럼 들린다.

물론 절대 그렇지 않다. 2014년 전까지 마이크로소프트는 윈도우를 실제 환경에서 테스트하고 분석하는 전담팀을 두고 있었다. 그해 마이크로소프트는 테스트를 가상머신에서 하기 시작했다. 테스트를 담당했던 마이크로소프트 수석 소프트웨어 개발 엔지니어 제리 베르그에 따르면, VM은 제대로 동작하지 않았다. 하지만 마이크로소프트는 테스트팀을 원래대로 돌려놓지 않았다.

기존 테스트팀은 윈도우 빌드를 수많은 서로 다른 종류의 하드웨어와 시스템 구성에 설치해 체계적인 방법으로 자동화된 테스트를 실행해 수많은 버그를 발견했다. 테스트팀은 많은 일을 했다. 버그를 분석해 이를 바로 잡기 위해 엔지니어가 어떤 작업을 해야 하는지 도와주기도 했다. 베르그는 가상머신은 다양한 하드웨어 환경에서 실행하지 않기 때문에 이런 종류의 버그를 찾아내지 못한다고 지적했다.

이제 윈도우 인사이더 프로그램을 살펴보자. 2014년 말 도입된 이 프로그램은 1년 만에 700만 명의 사용자가 참여했다. 가장 최근의 수치인 2017년 3월 현재 1,000만 명이 참여하고 있다.

마이크로소프트는 버그 리포트를 인사이더 프로그램에 의존하고 있지만, 베르그는 많은 인사이더 참여자가 그런 성가신을 일을 하지 않는다고 말한다. 또 설사 버그를 보고하더라도 기존 테스트임이 하던 것처럼 제때 체계적이고 유용한 방식으로 하지 않는다. 버그를 분석하지 않는 것은 물론이다.

물론 마이크로소프트는 윈도우 인사이더로부터 원격 측정 데이터를 수집한다. 이를 통해 버그도 잡고 사용자들이 윈도우를 어떻게 사용하는지도 인사이트도 얻는다. 하지만 원격 측정 데이터만으로는 충분하지 않다는 것이 베르그의 평가이다.

베르그는 오늘날의 윈도우 테스트에 대해 “근본적으로 마이크로소프트는 체계적인 테스트를 진행하던 피와 살로 이루어진 사람을 소비자로 대체했다”고 지적했다.

품질이 떨어지는 윈도우 빌드의 책임이 윈도우 인사이더에 있을까? 물론 아니다. 윈도우 인사이더는 전문적인 테스터의 보조 역할로 충분히 유용하다. 하지만 마이크로소프트는 인사이더를 전문 테스터 대신 이용한다. 인사이더는 보수를 받는 사람들이 아니다. 오랜 속담처럼, “싼 게 비지떡”인 셈이다. editor@itworld.co.kr


2019.10.08

글로벌 칼럼 | “싼 게 비지떡” 윈도우 품질 테스트 크라우드소싱 전략

Preston Gralla | Computerworld
윈도우 인사이더 프로그램은 수많은 사람이 참여해 윈도우의 정식 출시 이전 버전을 점검한다. 보수도 받지 않는다. 하지만 이 전략이 제대로 돌아가지 않는다는 것이 분명해졌다.

몇 주 후에 나올 다음 버전 윈도우 10은 버그가 없을까? 마이크로소프트가 아니라 어떤 소프트웨어 업체라도 무리한 기대일 것이다. 그렇다면 새 버전 윈도우 10은 전 세계 PC에 참혹한 무엇인가를 가져와 기업의 생산성을 수렁에 빠뜨릴 것인가? 기대치를 조금만 낮추면, 그런 일은 일어나지 않을 것이다.
 
ⓒ GettyImagesBank

윈도우 업데이트는 최근 수년 동안 다사다난한 과정을 겪었다. 최악의 업데이트는 아마도 사용자의 파일을 아무런 경고도 없이 영구적으로 삭제해 버리는 사고를 낸 2018년 10월 업데이트일 것이다. 하지만 이것이 유일하게 나쁜 기억이라고 말하기는 어렵다.

마이크로소프트는 무엇을 잘못했길래, 많은 사람들이 새로운 윈도우 업데이트를 기대보다는 두려움으로 바라볼까? 문제는 바로 윈도우 인사이더이다. 마이크로소프트에 윈도우 출시 전 문제를 보수도 없이 보고하겠다고 참여한 수백만의 사람을 말하는 것이 아니다. 필자가 지적하고 싶은 것인 인사이더 프로그램 자체이며, 진정한 마이크로소프트 내부자, 즉 직원이 배제되었다는 것이다.

윈도우 인사이더는 윈도우의 출시 전 버전을 테스트하고 버그를 마이크로소프트 피드백 허브(Feedback Hub)를 사용해 보고하겠다고 약속한 사람들이다. 이를 통해 인사이더가 얻는 혜택은 운영체제의 출시 전 버전을 사용할 수 있는 ‘특권’이다. 물론 출시 전 버전의 윈도우는 안정성이 떨어지고 버그투성이인 경우가 많으며, 흔히 마무리가 부족할 뿐만 아니라 제대로 동작하지 않거나 윈도우 자체를 죽일 수도 있는 기능이 포함되어 있다. 많은 인사이더에게는 다음 버전 윈도우에 어떤 기능이 들어있는지를 미리 볼 수 있다는 것을 자랑할 권리가 생긴다.

마크 트웨인의 말처럼 “일이란 몸이 해야 하는 것으로 구성되어 있고, 놀이란 몸이 하지 않아도 되는 것으로 구성되어 있다.” 사람들은 인사이더가 되어야 할 필요가 없다. 하지만 특권이란 이름 자체만으로도 아무나 할 수 없는 고급스러움을 암시하는 느낌이다. 사실 인사이더는 누구나 될 수 있지만 말이다.

마이크로소프트는 인사이더가 버그를 조기에 발견해 윈도우가 더 안정적으로 동작하도록 만드는 데 일조한다고 말한다. 하지만 잘 생각해 보면 이상한 말이다. 이 말은 마치 윈도우 인사이더 프로그램 이전에는 제대로 테스트도 안하고 윈도우 업데이트를 출시한 것처럼 들린다.

물론 절대 그렇지 않다. 2014년 전까지 마이크로소프트는 윈도우를 실제 환경에서 테스트하고 분석하는 전담팀을 두고 있었다. 그해 마이크로소프트는 테스트를 가상머신에서 하기 시작했다. 테스트를 담당했던 마이크로소프트 수석 소프트웨어 개발 엔지니어 제리 베르그에 따르면, VM은 제대로 동작하지 않았다. 하지만 마이크로소프트는 테스트팀을 원래대로 돌려놓지 않았다.

기존 테스트팀은 윈도우 빌드를 수많은 서로 다른 종류의 하드웨어와 시스템 구성에 설치해 체계적인 방법으로 자동화된 테스트를 실행해 수많은 버그를 발견했다. 테스트팀은 많은 일을 했다. 버그를 분석해 이를 바로 잡기 위해 엔지니어가 어떤 작업을 해야 하는지 도와주기도 했다. 베르그는 가상머신은 다양한 하드웨어 환경에서 실행하지 않기 때문에 이런 종류의 버그를 찾아내지 못한다고 지적했다.

이제 윈도우 인사이더 프로그램을 살펴보자. 2014년 말 도입된 이 프로그램은 1년 만에 700만 명의 사용자가 참여했다. 가장 최근의 수치인 2017년 3월 현재 1,000만 명이 참여하고 있다.

마이크로소프트는 버그 리포트를 인사이더 프로그램에 의존하고 있지만, 베르그는 많은 인사이더 참여자가 그런 성가신을 일을 하지 않는다고 말한다. 또 설사 버그를 보고하더라도 기존 테스트임이 하던 것처럼 제때 체계적이고 유용한 방식으로 하지 않는다. 버그를 분석하지 않는 것은 물론이다.

물론 마이크로소프트는 윈도우 인사이더로부터 원격 측정 데이터를 수집한다. 이를 통해 버그도 잡고 사용자들이 윈도우를 어떻게 사용하는지도 인사이트도 얻는다. 하지만 원격 측정 데이터만으로는 충분하지 않다는 것이 베르그의 평가이다.

베르그는 오늘날의 윈도우 테스트에 대해 “근본적으로 마이크로소프트는 체계적인 테스트를 진행하던 피와 살로 이루어진 사람을 소비자로 대체했다”고 지적했다.

품질이 떨어지는 윈도우 빌드의 책임이 윈도우 인사이더에 있을까? 물론 아니다. 윈도우 인사이더는 전문적인 테스터의 보조 역할로 충분히 유용하다. 하지만 마이크로소프트는 인사이더를 전문 테스터 대신 이용한다. 인사이더는 보수를 받는 사람들이 아니다. 오랜 속담처럼, “싼 게 비지떡”인 셈이다. editor@itworld.co.kr


X