2016.11.18

글로벌 칼럼 | 클린턴이 패배한 숨은 이유 "분석 결과를 의심하지 않았다"

Rob Enderle | CIO
이번 미국 대선 결과는 슬프면서도 흥미진진했다. 언론의 예상이 완전히 빗나갔기 때문이다. 사실상 모든 언론이 클린턴의 승리를 예상했고 (이로 인해 클린턴의 패배에 일조한 측면도 있다) 또 대부분의 언론이 클린턴의 승리를 원했다.

결국 모든 언론의 예상이 틀렸다. 클린턴 캠프는 잘못된 분석을 바탕으로 '안티-트럼프(트럼프에 부정적인)' 메시지를 전파했고, 트럼프 캠프보다 훨씬 많았던 선거 자금을 잘못 쓰고 말았다. 반면 트럼프는 정확한 분석으로 한정된 선거 자금을 더 효과적으로 활용하고, 메시지를 전파해 대선에서 승리할 수 있었다.


<이미지 : flickr/Marc Nozell>

아이러니는 지난 두 번의 선거에서 오바마가 분석에 기반해 공화당 후보들을 이겼다는 것이다. 그러나 결과적으로 다른 정당에 속한 트럼프가 이 사실에서 더 많은 것을 배운 듯싶다. 이는 데이터 분석을 이용하는 사람에게 더 큰 교훈 하나를 알려준다. 데이터 소스가 확실해야 한다는 점이다. 지금부터 이번 대선에서 뜻밖의 결과가 초래된 이유, 분석에서 명심해야 할 3가지 원칙을 정리한다.

데이터 소스가 갖고 있는 (이미 알려진) 문제들
사람들의 커뮤니케이션 방식이 크게 바뀌었다. 이는 대선 이전에 발생한 변화이다. 특히 그 힘이 커지고 있는 밀레니얼 세대의 커뮤니케이션 방식이 급변했다. 이들은 유선 전화 대신 휴대폰을 이용한다. 휴대폰으로 전화를 걸어도 발신자를 확인해 모르는 사람이면 전화를 받지 않는 경우가 많다. 즉 많은 사람이 전화 여론조사를 피할 수 있다는 의미이다. 이는 표본 추출에 큰 문제가 되고 그 결과 기법에 상당한 결함을 발생시킨다. 결국 오차 범위가 확대된다. 4~5%가 아닌 15%가 될 수 있는 것이다.

선거가 무르익으면서 언론과 클린턴 캠프가 트럼프 지지자를 비난했다. 클린턴 본인도 '개탄스러운 사람들'이라고 말할 정도였다. 현명한 전략은 아니었다. 그들이 지지 후보를 바꾸는 대신 공격을 받았다는 생각에 투표장으로 향하도록 만들기 때문이다. 이는 분석가에게 더 큰 문제 하나를 초래했다. 이들 유권자는 조사에 응하지 않거나 조사에 응해도 사실을 말하지 않았던 것이다. 이로 인해 클린턴 지지자 통계에 편의(편향)가 발생하면서, 관련 조사가 무용지물이 됐다.

분석은 이런 통계 편의를 파악해 줄여야 한다. 그렇지 않으면, 자신을 고용한 사람이 잘못된 결정을 내리도록 만들 수 있기 때문이다. 이번 대선 결과가 여기에 해당된다.

트럼프 캠프의 강점
클린턴과 달리 트럼프 캠프는 이런 문제를 올바르게 인식하고, 비교적 덜 알려진 분석 회사인 케임브릿지 애널리티카(Cambridge Analytica)와 라티노(히스패닉) 유권자에 초점을 맞춘 다른 익명의 회사 한 곳과 계약을 체결했다. 그리고 이들은 기존과 다른 방법을 이용했다. 선거 10일 전, 소규모 팀이 표본 추출 방법을 바꿔서 편의를 없앴다. 그리고 기존 방법으로는 누락되었을 유권자를 조사했다. 이를 통해 공략할 유권자 집단, 선거 자금 활용 방법을 더 효과적으로 조언할 수 있었다.

간단히 말해, 이들은 '다른 모든 사람이 틀렸다'는 사실을 깨달았다. 예비 경선 동안 드러난 수 많은 증거를 바탕으로 고객에게 훌륭한 전략적 무기를 제공했고, '예정된 패배'를 미국 역사상 가장 극적인 승리로 바꿔 놓았다.

게다가 트럼프는 자신에게 불리한 통계를 믿고 싶지 않았고, 이에 이들이 더 나은 방법을 찾아내도록 압박했다. 반면 클린턴은 자신에 유리한 통계를 좋아했기 때문에 이런 일을 하지 않았다. 이는 사람들이 자주 저지르는 실수이다. 자신이 좋아하는 결과를 의심하지 않으면 거의 대부분 나쁜 결과가 초래된다.

2번째 회사
선거 후에 '영웅'이 된 또 다른 회사가 있다. 애틀랜타의 트라팔가 그룹(Trafalgar Group)이다. 이 회사는 트럼프 지지자가 통계에 제대로 반영되지 않는 이유를 집중 분석했고 이를 바로잡을 창의적인 방법을 고안했다. 그리고 그 결과는 놀랄 만큼 정확했다. 문제는 이 방법에 대해 평판 높고 규모가 큰 회사들이 어떻게 대응했는가이다. 결과적으로 잘못된 예상을 내놓았던 이 큰 회사들은 트라팔가 그룹 방법론의 문제를 집중적으로 지적했다.

화가 나면서도 흥미로운 점은 이들 대기업이 선거 이후에 자신의 무능력을 감추는 데 급급했다는 것이다. 이들은 "올바르게 조사했는데 근거가 잘못됐다", "데이터가 엉터리였다"라고 변명했다. '올바르게 만드는 것'이 가장 중요하고, 변명으로는 성과를 일궈낼 수 없다는 점을 망각한 것이다. 이들은 승자와 패자의 차이를 다시 복습할 필요가 있다. 그러면 변명을 잘하는 것과 지속적인 성과 사이에 아무런 상관관계가 없다는 사실을 깨달을 것이다.

분석의 3가지 원칙
이 모두는 '분석의 3가지 원칙'으로 귀결된다. 첫째, 데이터 소스를 확신할 수 있어야 한다. 표본 추출 기법이 튼튼하지 못하면 정확한 결과를 도출할 수 없다. 이 경우 차라리 조사를 하지 않는 것이 낫다. 의사결정자에게 잘못된 조언을 할 수 있기 때문이다. 둘째, 편의를 파악해 없애야 한다. 편의는 결과를 무용지물로 만든다. 이를 없애지 못하면 역시 의사결정자에게 잘못된 조언을 하게 된다.

마지막으로, 의사결정자는 분석 결과를 의심해야 한다는 것을 명심할 필요가 있다. 특히 듣기 좋은 결과는 더 의심해야 한다. 나중에 분석가를 탓해봐야 승패를 되돌릴 수 없다. 분석가를 해고할 수 있지만, 결국 자신도 같은 신세가 된다. 확신할 수 있는 데이터를 수집하고 편의를 파악해 없애고 분석 결과를 의심해야, 좋은 인사이트를 확보하고 좋은 결과를 만들어낼 수 있다.

* Rob Enderle은 엔덜 그룹(Enderle Group)의 대표이자 수석 애널리스트다. 그는 포레스터리서치와 기가인포메이션그룹(Giga Information Group)의 선임 연구원이었으며 그전에는 IBM에서 내부 감사, 경쟁력 분석, 마케팅, 재무, 보안 등의 업무를 맡았다. 현재는 신기술, 보안, 리눅스 등에 대해 전문 기고가로도 활동하고 있다. ciokr@idg.co.kr


2016.11.18

글로벌 칼럼 | 클린턴이 패배한 숨은 이유 "분석 결과를 의심하지 않았다"

Rob Enderle | CIO
이번 미국 대선 결과는 슬프면서도 흥미진진했다. 언론의 예상이 완전히 빗나갔기 때문이다. 사실상 모든 언론이 클린턴의 승리를 예상했고 (이로 인해 클린턴의 패배에 일조한 측면도 있다) 또 대부분의 언론이 클린턴의 승리를 원했다.

결국 모든 언론의 예상이 틀렸다. 클린턴 캠프는 잘못된 분석을 바탕으로 '안티-트럼프(트럼프에 부정적인)' 메시지를 전파했고, 트럼프 캠프보다 훨씬 많았던 선거 자금을 잘못 쓰고 말았다. 반면 트럼프는 정확한 분석으로 한정된 선거 자금을 더 효과적으로 활용하고, 메시지를 전파해 대선에서 승리할 수 있었다.


<이미지 : flickr/Marc Nozell>

아이러니는 지난 두 번의 선거에서 오바마가 분석에 기반해 공화당 후보들을 이겼다는 것이다. 그러나 결과적으로 다른 정당에 속한 트럼프가 이 사실에서 더 많은 것을 배운 듯싶다. 이는 데이터 분석을 이용하는 사람에게 더 큰 교훈 하나를 알려준다. 데이터 소스가 확실해야 한다는 점이다. 지금부터 이번 대선에서 뜻밖의 결과가 초래된 이유, 분석에서 명심해야 할 3가지 원칙을 정리한다.

데이터 소스가 갖고 있는 (이미 알려진) 문제들
사람들의 커뮤니케이션 방식이 크게 바뀌었다. 이는 대선 이전에 발생한 변화이다. 특히 그 힘이 커지고 있는 밀레니얼 세대의 커뮤니케이션 방식이 급변했다. 이들은 유선 전화 대신 휴대폰을 이용한다. 휴대폰으로 전화를 걸어도 발신자를 확인해 모르는 사람이면 전화를 받지 않는 경우가 많다. 즉 많은 사람이 전화 여론조사를 피할 수 있다는 의미이다. 이는 표본 추출에 큰 문제가 되고 그 결과 기법에 상당한 결함을 발생시킨다. 결국 오차 범위가 확대된다. 4~5%가 아닌 15%가 될 수 있는 것이다.

선거가 무르익으면서 언론과 클린턴 캠프가 트럼프 지지자를 비난했다. 클린턴 본인도 '개탄스러운 사람들'이라고 말할 정도였다. 현명한 전략은 아니었다. 그들이 지지 후보를 바꾸는 대신 공격을 받았다는 생각에 투표장으로 향하도록 만들기 때문이다. 이는 분석가에게 더 큰 문제 하나를 초래했다. 이들 유권자는 조사에 응하지 않거나 조사에 응해도 사실을 말하지 않았던 것이다. 이로 인해 클린턴 지지자 통계에 편의(편향)가 발생하면서, 관련 조사가 무용지물이 됐다.

분석은 이런 통계 편의를 파악해 줄여야 한다. 그렇지 않으면, 자신을 고용한 사람이 잘못된 결정을 내리도록 만들 수 있기 때문이다. 이번 대선 결과가 여기에 해당된다.

트럼프 캠프의 강점
클린턴과 달리 트럼프 캠프는 이런 문제를 올바르게 인식하고, 비교적 덜 알려진 분석 회사인 케임브릿지 애널리티카(Cambridge Analytica)와 라티노(히스패닉) 유권자에 초점을 맞춘 다른 익명의 회사 한 곳과 계약을 체결했다. 그리고 이들은 기존과 다른 방법을 이용했다. 선거 10일 전, 소규모 팀이 표본 추출 방법을 바꿔서 편의를 없앴다. 그리고 기존 방법으로는 누락되었을 유권자를 조사했다. 이를 통해 공략할 유권자 집단, 선거 자금 활용 방법을 더 효과적으로 조언할 수 있었다.

간단히 말해, 이들은 '다른 모든 사람이 틀렸다'는 사실을 깨달았다. 예비 경선 동안 드러난 수 많은 증거를 바탕으로 고객에게 훌륭한 전략적 무기를 제공했고, '예정된 패배'를 미국 역사상 가장 극적인 승리로 바꿔 놓았다.

게다가 트럼프는 자신에게 불리한 통계를 믿고 싶지 않았고, 이에 이들이 더 나은 방법을 찾아내도록 압박했다. 반면 클린턴은 자신에 유리한 통계를 좋아했기 때문에 이런 일을 하지 않았다. 이는 사람들이 자주 저지르는 실수이다. 자신이 좋아하는 결과를 의심하지 않으면 거의 대부분 나쁜 결과가 초래된다.

2번째 회사
선거 후에 '영웅'이 된 또 다른 회사가 있다. 애틀랜타의 트라팔가 그룹(Trafalgar Group)이다. 이 회사는 트럼프 지지자가 통계에 제대로 반영되지 않는 이유를 집중 분석했고 이를 바로잡을 창의적인 방법을 고안했다. 그리고 그 결과는 놀랄 만큼 정확했다. 문제는 이 방법에 대해 평판 높고 규모가 큰 회사들이 어떻게 대응했는가이다. 결과적으로 잘못된 예상을 내놓았던 이 큰 회사들은 트라팔가 그룹 방법론의 문제를 집중적으로 지적했다.

화가 나면서도 흥미로운 점은 이들 대기업이 선거 이후에 자신의 무능력을 감추는 데 급급했다는 것이다. 이들은 "올바르게 조사했는데 근거가 잘못됐다", "데이터가 엉터리였다"라고 변명했다. '올바르게 만드는 것'이 가장 중요하고, 변명으로는 성과를 일궈낼 수 없다는 점을 망각한 것이다. 이들은 승자와 패자의 차이를 다시 복습할 필요가 있다. 그러면 변명을 잘하는 것과 지속적인 성과 사이에 아무런 상관관계가 없다는 사실을 깨달을 것이다.

분석의 3가지 원칙
이 모두는 '분석의 3가지 원칙'으로 귀결된다. 첫째, 데이터 소스를 확신할 수 있어야 한다. 표본 추출 기법이 튼튼하지 못하면 정확한 결과를 도출할 수 없다. 이 경우 차라리 조사를 하지 않는 것이 낫다. 의사결정자에게 잘못된 조언을 할 수 있기 때문이다. 둘째, 편의를 파악해 없애야 한다. 편의는 결과를 무용지물로 만든다. 이를 없애지 못하면 역시 의사결정자에게 잘못된 조언을 하게 된다.

마지막으로, 의사결정자는 분석 결과를 의심해야 한다는 것을 명심할 필요가 있다. 특히 듣기 좋은 결과는 더 의심해야 한다. 나중에 분석가를 탓해봐야 승패를 되돌릴 수 없다. 분석가를 해고할 수 있지만, 결국 자신도 같은 신세가 된다. 확신할 수 있는 데이터를 수집하고 편의를 파악해 없애고 분석 결과를 의심해야, 좋은 인사이트를 확보하고 좋은 결과를 만들어낼 수 있다.

* Rob Enderle은 엔덜 그룹(Enderle Group)의 대표이자 수석 애널리스트다. 그는 포레스터리서치와 기가인포메이션그룹(Giga Information Group)의 선임 연구원이었으며 그전에는 IBM에서 내부 감사, 경쟁력 분석, 마케팅, 재무, 보안 등의 업무를 맡았다. 현재는 신기술, 보안, 리눅스 등에 대해 전문 기고가로도 활동하고 있다. ciokr@idg.co.kr


X