상반되는 조사 결과, 누구를 믿어야 할까?

첨단 기술 업계에는 누구를 믿어야 할지 결정해야 하는 곤혹스러운 순간들이 있다.

유사한 조사 자료(표면적으로는 동일한 일반적 조사에 기반하고 있다)가 모순된 결과를 제공하기도 한다. 경쟁 관계에 있는 업체들은 자사의 목적을 위해 조사 결과를 왜곡하고, 두려움, 불확실, 의심을 퍼뜨린다. 통계 결과란 얼마든지 곡해하여 원하는 대로 이용할 수 있는 것이다.

SAP 솔루션 매니저(Solution Manager)와 관련된 2가지 연구 조사 결과도 이와 같은 경우에 속한다. 솔루션 매니저는 애플리케이션 제품 수명주기 관리 도구로서 많은 SAP 이용자들에게 기본적인 것이지만 그다지 매력적이지 않은 것으로 보인다. 일단 표면적으로는 그렇다.

SAP에 의하면 솔루션 매니저는 “솔루션 배치, 운용, 지속적 개선에 대한 핵심 요소들을 아우르는 기능을 갖춘 제품으로, 분산된 시스템을 위한 기술 지원을 촉진한다. 중앙 집중적이고 강력한 애플리케이션 관리를 제공하는 SAP의 솔루션 매니저는 SAP에 대한 액세스, 도구, 콘텐츠를 하나로 묶어 솔루션의 신뢰성을 향상시키고 해당 비용을 감소시킨다”고 한다.

탁월한 효과를 주장하는 IDC 보고서

솔루션이라는 단어가 남용되었음에도 불구하고, SAP의 솔루션 매니저와 이에 속한 신기능들은 2009년에 발표된 IDC의 보고서에서 좋은 평가를 받았다. IDC가 작성한 이 보고서는 7명의 SAP 이용자들을 대상으로 한 인터뷰를 통해 “SAP의 솔루션 매니저에 대한 이용 경험담을 기록했다”고 보고하고 있다.

보고서에서 직접 인용한 조사 결과는 다음과 같다.

- 대체적으로 SAP의 솔루션 매니저 이용자들은 새로운 활동을 위해 직원을 증원할 필요가 없다. 이는 평균적으로 39만 3,307달러를 절약해준다. 또한 이러한 배치로 인해 현재의 IT 부서 직원들은 11% 가량 생산성이 높다.

- 평균적으로 다운타임 발생 횟수가 8.4% 줄었으며, 다운타임 시간도 50.8% 감소했다.

- 3년간의 비용 절감 효과는 평균 합계 448만 9,438달러이며, 사용자 1,000명당 12만 6,378달러이다.

- 해당 결과들은 총 463%의 ROI를 보여주며, 투자 회수 기간은 4.3개월이다.

- 보고서에서는 SAP의 솔루션 매니저는 적게 사용하든 많이 사용하든 200% 이상의 투자수익률과 1년 미만의 투자 회수 기간이 가능하다고 한다.

SAP에서 이 연구에 대한 비용을 지불했다는 사실은 별로 놀랍지 않을 것이다. 첫 페이지에는 ‘후원 : SAP’라는 문구가 확연히 눈에 띈다.

파나야, 자체 조사로 “효과 미미” 주장

이번에는 솔루션 매니저에 대한 전혀 다른 조사 결과를 살펴보자. 이 결과는 파나야(Panaya)라는 업체에서 조사한 것이며, 파나야는 시장조사 업체가 아니다.

파나야가 어떤 회사인지 밝히기 전에 그들이 온라인 상에 공개한 조사 결과를 살펴보자. 파나야에 의하면 이 조사에서는 SAP 이용자들이 어떻게 SAP 솔루션 매니저를 이용하고 있으며, 이와 관련된 어려운 점과 장점은 무엇인지 알기 위해 2010년 4월, 전 세계 347명의 SAP 이용자와 시스템 엔지니어들을 조사했다고 한다.

보고서의 첫 문장에서 “SAP 솔루션 매니저는 복잡하다는 점이 가장 큰 문제이다”라고 언급한다는 사실은 주목할 만하다.

다음에 인용한 파나야의 보고서 중 일부 내용은 IDC의 보고서와는 사뭇 다르다.

- SAP 솔루션 매니저의 가장 큰 장점은 컨트롤이라고 42%가 답했다. 20%에 해당하는 응답자들이 SAP 솔루션 매니저의 장점을 확실히 알지 못한다고 답했다.

- SAP 솔루션 매니저의 복잡성은 해당 시스템을 사용하는 데 있어 가장 큰 난점이라고 답했다(32%). 응답자의 1/4 가량이 SAP 솔루션 매니저의 이용 방법을 제대로 알지 못하고, 이용에 어려움을 느낀다고 답했다.

- 업무 절차 문서화는 SAP 솔루션 매니저의 주요 기능들 중 하나이다. 그러나 응답자의 42%가 이 기능을 이용한 적이 없으며, 3%만이 이 기능을 제대로 활용한다고 답했다.

- SAP 솔루션 매니저에서는 시스템 모니터링 기능이 가장 많이 이용되고 있었다. 서비스 데스크(Service Desk), 잡 스케쥴링(Job Scheduling), 인시던트 매니지먼트(Incident Management) 기능은 가장 적게 이용되고 있었다.

- SAP 솔루션 매니저에 대하여 응답자의 51%는 사용하지 않으며, 10%는 드물게 사용하고, 16%는 부분적으로 사용하고, 12%는 꽤 많이 사용하며, 8%만이 전부 사용한다고 답했다.

그렇다면 파나야는 어떤 회사일까? 이 회사에 따르면, “SAP 이용자들이 위험을 최소화하고 안전한 투자수익률을 확보하면서 최대 50%까지 소프트웨어 업그레이드와 유지 비용을 감소시키는 소프트웨어를 제공한다”고 한다. 다시 한 번 언급하지만, 이 조사는 외부 리서치 업체가 아니라 파나야에서 직접 실시한 것이다.

업체들, “조사는 조사일 뿐”

SAP에서는 솔루션 매니저에 대해 긍정적인 리뷰와 놀랄 만한 투자수익률에 대해 언급하는 IDC의 조사를 후원하고 있다. 한편, SAP의 소프트웨어 지원 및 업그레이드 비용 감소에 목적을 두고 있는 회사인 파나야가 실시한 조사 결과는 솔루션 매니저가 사용하기에 너무 복잡하고, 장점을 인식하기 어려우며, 상황에 따른 문제점들이 존재한다고 밝히고 있다.

파나야의 조사 결과에 대해 SAP의 미국 내 미디어 관련 책임자인 짐 디버는 이메일을 통해 “최근 우리가 실시한 조사 결과를 보면 상당한 투자수익률을 얻을 수 있다는 점을 알 수 있으며, 우리는 고객들이 솔루션 매니저의 장점을 보다 잘 이해하고 저마다의 IT 환경에서 이를 최대한 활용할 수 있도록 도움을 줄 수 있는 도구와 교육 자원을 제공하기 위해 노력하고 있다”고 반박했다.

디버는 파나야의 솔루션 매니저에 대한 조사의 정확성에 대해 파나야는 “믿을 만한 외부 업체에 의뢰하지 않았다”고 지적했다.

파나야의 CMO인 애밋 벤도브는 이메일을 통해 “우리는 솔루션 매니저를 비난할 어떤 이유도 없다. 이 제품은 우리의 경쟁 제품이 아니다. 우리는 분명히 애플리케이션 관리 비즈니스와 관련이 있으며, SAP의 지원 비용을 감소시키고 있지만, 솔루션 매니저와 기능 면에서 겹치는 부분은 있다 해도 별로 중요하지 않은 부분에 해당된다. 사실, 대부분(아마도 전부)의 우리 고객들은 이미 솔루션 매니저를 이용하고 있을 것이다”라고 반박했다.

벤도브는 파나야에서는 “회사 자체의 필요에 의해 솔루션 매니저에 대한 시장 조사를 원했을 뿐이고 SAP 등과는 아무 관련이 없다”고 주장했다.  editor@idg.co.kr