2018.05.29

글로벌 칼럼 | 오작동인가, 오해인가? 아마존 에코 사건, 기업 IT도 주의해야

Evan Schuman | Computerworld
마존이 에코 디바이스가 가족의 대화를 녹음해 연락처 목록에 있는 무작위 지인에게 메시지로 보낸 사실을 확인했다.

그러나 아마존은 Computerworld에 보낸 이메일에서의 성명을 통해 프라이버시에 민감한 사용자들이 제일 두려워하는 사태를 해명했다. 아마존은 “에코는 ‘알렉사’와 비슷한 소리가 알렉사와 상관 없는 배경 대화 중에 섞여서 반응했다. 이어진 대화 내용은 ‘메시지를 전송해’로 인식됐다. 중간에 알렉사가 “누구에게 보낼까요?”라고 물었고, 이어진 대화에서는 연락처에 등록된 이름 중 하나가 언급된 것으로 보인다. 이후 알렉사가 다시 이름을 물으며 “맞나요?”라고 물었고, 사용자들의 대화에서 “그래”를 인식했다. 우연적인 사건이 연달아 일어나는 일은 드물지만, 아마존은 이러한 사건의 빈도를 줄이기 위해 노력하겠다”는 설명이다.

기록에 따르면 이번 사태를 겪은 사용자 가족은 에코의 질문이나 반응을 전혀 듣지 못했다고 한다. 양측의 말이 서로 다르지만, 둘 다 틀리지 않았을 수도 있다. 사용자가 소리 높여 대화를 했거나 에코에 전혀 주의를 기울이지 않았다면 에코의 질문이나 반응을 확인하지 못했을 것이다.

필자 개인적으로는 이번 사건이 충분히 불쾌할 수 있으며, 동시에 매우 개연성이 있다고 생각한다. 시리도 역시 단어를 명령으로 잘못 인식하고 그 단어대로 행동하려고 할 때가 많았다. 시리를 통해 누군가에게 문자 메시지를 보내려고 하는 순간 일반 전화가 울리고 통화를 끝내면, 시리의 음성 인식 기능이 통화 내용을 문자 메시지로 바꿔 놓은 후 다른 사람에게 전송하려고 하는 상태가 된다. 만일 통화 내용에 “보내”와 비슷한 단어가 있었다면 아마 이미 메시지가 전송되었을 것이다.

아마존은 인터뷰 요청에는 응하지 않았다. 인터뷰가 성사되었더라면 사용자 가족의 대화에 언급되어 에코가 명령으로 받아들인 단어가 무엇이었는지 알아볼 참이었다. 사용자 가족이 대화 중에 명령어와 확인어를 적시에 사용했다면 상황은 완전히 달라질 것이다. 단지 에코의 확인 명령이 더 구체적일 필요가 있는 일에 지나지 않게 된다.

한 차원 다른 문제로 생각해보자. IT 업계 종사자라면 모두 관심을 가질 이번주 최고의 화제 GDPR과 머신러닝 등의 자동화 기능을 탑재한 소프트웨어를 어디까지 허용할 것인가를 주제로 잡자.

5월 25일 발효된 GDPR에 따르면 데이터를 유출한 기업은 72시간 내에 유출 사실을 보고해야 한다. 그러나 언제부터 72시간이라는 말인가? 이 부분이 흥미로운 지점이다. GDPR의 규정에는 “컨트롤러는 개인정보 유출 발생 시, 그 사실을 알게 된 때로부터 72시간 내에 감독 당국에 신고하여야 하고, 프로세서는 개인정보 유출 사실을 알게 된 때에 컨트롤러에게 그 사실을 부당한 지체 없이 알리도록 하여야 한다”고 정의하고 있다.

이 맥락에 따르면 컨트롤러는 즉 정보를 보유한 유출 기업이다. 그러므로 기업이 어떤 사건을 지각하는 시점이 언제인지가 문제가 된다. 직원이 인식한 시점인가? 그렇다면 어떤 직원을 의미하는가? CIO? CISO? CEO? 사건이 발생하거나 발생하지 않을지도 모른다는 것을 맨 처음 인식했을 때를 유출 시점으로 부를 수 있는가? 아니면 유출이 발생했다는 것을 완전히 확신한 시점이 유출 인식 발생 시간인가? 이 경우 인식은 몇 개월이 지난 후에 이루어질 수도 있다.

다시 맨 처음 질문으로 돌아가보자. 직원이 유출을 인식한 시점 말이다. 만일 서버, 아마도 기업이 사용하는 보안 솔루션 패키지에 포함된 서버가 기업이 제어하는 서버에 메시지를 보내고, 바이러스가 감지되었다는 알림을 공유한다고 생각해보자. 위협을 제어하기 위해 서버가 자동으로 안티바이러스 활동에 돌입하면 어떻게 되는 것일까? 이러한 서버의 자동 활동도 기업의 유출 인식 시점에 해당하는가?

최근 기업 IT에 인공지능과 머신러닝 기술이 도입되면서 개발자의 의도 이상으로 많은 자동 활동이 진행되고 있다. 머신러닝은 기계가 찾은 패턴으로 추론하고 추가 조치를 권장하는 방식으로 작동한다. 특히 보안과 관련해서는 대응 속도가 중요한 만큼, 많은 기업이 인간 직원의 개입을 기다리지 않고 머신러닝 등에 따라 작동하도록 프로그램할 전망이다.

이러한 정보는 다시 아마존 에코의 상황으로 우리를 이끈다. 아마존의 AI 기술은 시스템이 인간의 확인 없이 인간의 판단에 따라 행동을 취하도록 한다.

음성이 잘못 인식되거나 해석이 틀렸을 때도 있다. 아마존은 매끄러운 마법을 부리기 위해 대부분의 경우 시스템이 정확하다는 전제 하에 시스템이 정해진 활동을 하도록 허용하고 있다. 그리고 만일 틀렸을 때는? 이번 미국 워싱턴에 사는 한 가족에게 일어난 일 같은 결과가 나올 것이다.

기업 IT 부서 역시 머신러닝 시스템 역시 정확히 똑 같은 위험을 내재하고 있음을 인지해야 한다. IT가 시스템이 신뢰할 수 있는 인간의 확신 없이 결정을 내리게 한다면 불행한 결과가 오고 만다. 이번 아마존 에코 사건처럼 비교적 무해한 대화일 수도 있지만, 머신러닝 보안 시스템이 다루는 것은 훨씬 위험한 데이터다.

머신러닝 시스템과 음성 인식 기술이 “고객사 계약서를 경쟁사에 전송해”라는 말을 들었다고 가정해보자. 이후 웅성거리는 대화 끝에 “그래”라는 말이 이어지면 어떻게 될까? 불 보듯 뻔한 일이다.

에코에게 고맙다는 인사를 해야할 것 같다. 일련의 사고를 통해 경각심을 불러일으켜 주었으니 말이다. editor@itworld.co.kr  


2018.05.29

글로벌 칼럼 | 오작동인가, 오해인가? 아마존 에코 사건, 기업 IT도 주의해야

Evan Schuman | Computerworld
마존이 에코 디바이스가 가족의 대화를 녹음해 연락처 목록에 있는 무작위 지인에게 메시지로 보낸 사실을 확인했다.

그러나 아마존은 Computerworld에 보낸 이메일에서의 성명을 통해 프라이버시에 민감한 사용자들이 제일 두려워하는 사태를 해명했다. 아마존은 “에코는 ‘알렉사’와 비슷한 소리가 알렉사와 상관 없는 배경 대화 중에 섞여서 반응했다. 이어진 대화 내용은 ‘메시지를 전송해’로 인식됐다. 중간에 알렉사가 “누구에게 보낼까요?”라고 물었고, 이어진 대화에서는 연락처에 등록된 이름 중 하나가 언급된 것으로 보인다. 이후 알렉사가 다시 이름을 물으며 “맞나요?”라고 물었고, 사용자들의 대화에서 “그래”를 인식했다. 우연적인 사건이 연달아 일어나는 일은 드물지만, 아마존은 이러한 사건의 빈도를 줄이기 위해 노력하겠다”는 설명이다.

기록에 따르면 이번 사태를 겪은 사용자 가족은 에코의 질문이나 반응을 전혀 듣지 못했다고 한다. 양측의 말이 서로 다르지만, 둘 다 틀리지 않았을 수도 있다. 사용자가 소리 높여 대화를 했거나 에코에 전혀 주의를 기울이지 않았다면 에코의 질문이나 반응을 확인하지 못했을 것이다.

필자 개인적으로는 이번 사건이 충분히 불쾌할 수 있으며, 동시에 매우 개연성이 있다고 생각한다. 시리도 역시 단어를 명령으로 잘못 인식하고 그 단어대로 행동하려고 할 때가 많았다. 시리를 통해 누군가에게 문자 메시지를 보내려고 하는 순간 일반 전화가 울리고 통화를 끝내면, 시리의 음성 인식 기능이 통화 내용을 문자 메시지로 바꿔 놓은 후 다른 사람에게 전송하려고 하는 상태가 된다. 만일 통화 내용에 “보내”와 비슷한 단어가 있었다면 아마 이미 메시지가 전송되었을 것이다.

아마존은 인터뷰 요청에는 응하지 않았다. 인터뷰가 성사되었더라면 사용자 가족의 대화에 언급되어 에코가 명령으로 받아들인 단어가 무엇이었는지 알아볼 참이었다. 사용자 가족이 대화 중에 명령어와 확인어를 적시에 사용했다면 상황은 완전히 달라질 것이다. 단지 에코의 확인 명령이 더 구체적일 필요가 있는 일에 지나지 않게 된다.

한 차원 다른 문제로 생각해보자. IT 업계 종사자라면 모두 관심을 가질 이번주 최고의 화제 GDPR과 머신러닝 등의 자동화 기능을 탑재한 소프트웨어를 어디까지 허용할 것인가를 주제로 잡자.

5월 25일 발효된 GDPR에 따르면 데이터를 유출한 기업은 72시간 내에 유출 사실을 보고해야 한다. 그러나 언제부터 72시간이라는 말인가? 이 부분이 흥미로운 지점이다. GDPR의 규정에는 “컨트롤러는 개인정보 유출 발생 시, 그 사실을 알게 된 때로부터 72시간 내에 감독 당국에 신고하여야 하고, 프로세서는 개인정보 유출 사실을 알게 된 때에 컨트롤러에게 그 사실을 부당한 지체 없이 알리도록 하여야 한다”고 정의하고 있다.

이 맥락에 따르면 컨트롤러는 즉 정보를 보유한 유출 기업이다. 그러므로 기업이 어떤 사건을 지각하는 시점이 언제인지가 문제가 된다. 직원이 인식한 시점인가? 그렇다면 어떤 직원을 의미하는가? CIO? CISO? CEO? 사건이 발생하거나 발생하지 않을지도 모른다는 것을 맨 처음 인식했을 때를 유출 시점으로 부를 수 있는가? 아니면 유출이 발생했다는 것을 완전히 확신한 시점이 유출 인식 발생 시간인가? 이 경우 인식은 몇 개월이 지난 후에 이루어질 수도 있다.

다시 맨 처음 질문으로 돌아가보자. 직원이 유출을 인식한 시점 말이다. 만일 서버, 아마도 기업이 사용하는 보안 솔루션 패키지에 포함된 서버가 기업이 제어하는 서버에 메시지를 보내고, 바이러스가 감지되었다는 알림을 공유한다고 생각해보자. 위협을 제어하기 위해 서버가 자동으로 안티바이러스 활동에 돌입하면 어떻게 되는 것일까? 이러한 서버의 자동 활동도 기업의 유출 인식 시점에 해당하는가?

최근 기업 IT에 인공지능과 머신러닝 기술이 도입되면서 개발자의 의도 이상으로 많은 자동 활동이 진행되고 있다. 머신러닝은 기계가 찾은 패턴으로 추론하고 추가 조치를 권장하는 방식으로 작동한다. 특히 보안과 관련해서는 대응 속도가 중요한 만큼, 많은 기업이 인간 직원의 개입을 기다리지 않고 머신러닝 등에 따라 작동하도록 프로그램할 전망이다.

이러한 정보는 다시 아마존 에코의 상황으로 우리를 이끈다. 아마존의 AI 기술은 시스템이 인간의 확인 없이 인간의 판단에 따라 행동을 취하도록 한다.

음성이 잘못 인식되거나 해석이 틀렸을 때도 있다. 아마존은 매끄러운 마법을 부리기 위해 대부분의 경우 시스템이 정확하다는 전제 하에 시스템이 정해진 활동을 하도록 허용하고 있다. 그리고 만일 틀렸을 때는? 이번 미국 워싱턴에 사는 한 가족에게 일어난 일 같은 결과가 나올 것이다.

기업 IT 부서 역시 머신러닝 시스템 역시 정확히 똑 같은 위험을 내재하고 있음을 인지해야 한다. IT가 시스템이 신뢰할 수 있는 인간의 확신 없이 결정을 내리게 한다면 불행한 결과가 오고 만다. 이번 아마존 에코 사건처럼 비교적 무해한 대화일 수도 있지만, 머신러닝 보안 시스템이 다루는 것은 훨씬 위험한 데이터다.

머신러닝 시스템과 음성 인식 기술이 “고객사 계약서를 경쟁사에 전송해”라는 말을 들었다고 가정해보자. 이후 웅성거리는 대화 끝에 “그래”라는 말이 이어지면 어떻게 될까? 불 보듯 뻔한 일이다.

에코에게 고맙다는 인사를 해야할 것 같다. 일련의 사고를 통해 경각심을 불러일으켜 주었으니 말이다. editor@itworld.co.kr  


X