2018.11.23

토픽브리핑 | "실패 속에 보이는 성공의 길" 인공지능과 머신러닝을 위한 변명과 해법

이대영 기자 | ITWorld
수십 년에 걸쳐 점진적으로 발전해 오던 머신러닝과 인공지능은 지난 수년 동안 엄청난 화제를 일으키며 새로운 도약의 계기를 마련했다. 일부 시장에서는 이미 성공적인 사례를 확보하는 등 좋은 움직임을 보이고 있으나 여전히 머신러닝을 바라보는 전반적인 시각은 회의적이다.

그도 그럴 것이 기업은 머신러닝의 활용 방법을 찾기 위해 많은 투자를 하고 있지만, 현 시점에서는 확실히 성공보다 실패라는 결과물이 더 많다. 최대한 너그럽게 본다고 해도 오라일리 설문조사 결과처럼 성공 확률은 15% 정도다.

이 설문조사에 따르면, 대다수 기업(85%)이 아직도 인공지능과 머신러닝으로 가는 길목에서 방황하고 있다. 불과 15%의 기업만이 5년 이상 머신러닝을 실무적으로 운영해왔다. 가트너 또한 대부분 조직이 머신러닝에 대해 꿈만 꾸고 있으며, 15% 미만의 기업만이 성공적으로 수행할 수 있을 것으로 예측한 바 있다.

칼럼 | '삽질' 혹은 '애널리틱스'··· 머신러닝에 지름길은 없다

맵알(MapR) 수석 애플리케이션 아키텍트 테드 더닝은 "머신러닝이 쉽다고 생각한다면 완전히 헛짚었다. 머신러닝 기술을 구매할 수 있는 것이라고 생각한다면 성공할 가능성이 없다"고 잘라 말했다.

더닝은 "머신러닝은 표준 소프트웨어 엔지니어링 방식으로는 제대로 처리할 수 없는 새로운 장애가 뒤따르기 때문에 성공률은 매우 낮다. 성공적인 데이터옵스(dataops) 팀은 복잡한 의사 소통과 여러가지 개발 프로세스를 필요로 한다"며, "머신러닝 시스템에는 숨겨져 있는 함정과 매우 미묘한 의존성이 있다. 여기에 복잡성이 결합되면 완벽하게 잘못된 길로 빠지게 된다"고 충고했다.

누구보다 머신러닝의 결과와 함정에 대해 잘 알고 있는 구글은 머신러닝을 사용하면서 발생하는 시스템의 숨겨진 기술적 문제에 대해 밝혔다. 구글은 "실제 머신러닝 시스템은 엄청난 유지보수 비용이 발생하는 것이 일반적이다. 이와 함께 따라오는 위험은 경계 침식, 숨겨진 피드백 루프, 불명확한 소비자, 데이터 종속성, 구성 문제, 외부 세계의 변화, 그리고 다양한 시스템 수준의 반패턴 등이다"고 강조했다.

그리고 이는 단지 시작에 불과하다. 소프트웨어 엔지니어링 팀은 일반적으로 이런 복잡성을 처리할 준비가 되어 있지 않기 때문에 상당히 심각한 실패를 맛볼 수 있다.

머신러닝을 시작하는 방법, "텐서플로우를 통해 머신러닝을 자사의 DNA에 각인시켜라"

이런 주장에 대해서는 머신러닝 신봉자들도 어느 정도 수긍하고 있다. 일반적으로 학습 과정이란 실수를 저지르고 잘못된 길을 택하면서 쌓은 경험을 통해 향후 동일한 함정을 피하는 방법을 알아 나가는 것을 의미한다. 머신러닝 또한 학습 과정을 거쳐 발전하는 것이기에 별반 다르지 않다.

하지만 이런 머신러닝 오류를 제때 탐지하고 적절히 대처하지 못하면 즉각적으로 통제할 수 있는 범위를 벗어나 머신러닝이 가진 이점을 모두 상쇄해버리는 결과를 초래할 수 있다. 머신러닝 구현 단계에서 IT 관리자가 유의해야 할 사항들을 실패 사례를 통해 정리하면 다음과 같다.

- 가정이 잘못되면 궤도를 이탈한다
- 감독하지 않으면 예기치 못한 오차가 발생할 수 있다
- 데이터 분류가 미흡하면 머신러닝 결과물이 상한다
- 미묘한 차이가 있는 분류는 혼동을 초래할 수 있다
- 테스트/훈련 오염은 머신러닝을 망칠 수 있다


머신러닝 실패 사례에서 배우는 다섯 가지 교훈

이와 함께 머신러닝을 활용하는 데 실패하는 원인은 크게 6가지로 다음과 같다.

- 비즈니스에 대한 이해 부족
- 낮은 데이터 품질
- 잘못된 머신러닝 사용
- 편견
- 부족한 인프라 자원
- 부실한 계획과 거버넌스의 부재


머신러닝을 실패로 이끄는 6가지 방법
IDG 블로그 | 흔히 저지르는 머신러닝 실수 3가지


이런 함정과 장애물들을 극복하고 머신러닝을 성공적으로 도입한 이후에도 여러가지 도전 과제가 발생하는데, 이 문제들은 그 누구도 겪어보지 못한 새로운 것이기에 기업은 문제 해결을 위한 자체 역량을 키워야 한다.

“도입 그 이후를 말한다” 머신러닝 정착 전략과 과제 - IDG Deep Dive

가트너의 앤드루 화이트는 기업이 머신러닝 모델을 이해하고 이런 이해가 결과에 대한 신뢰로 이어지는 과정을 다음과 같이 설명했다.

- AI의 가장 새로운 측면은 AI가 문제를 새롭게 규정할 수 있다는 것이다. 너무 복잡해 일상적으로 할 수 없다고 생각했던 작업이 이제 AI를 통해 가능해졌다. AI는 과거의 기술보다 더 복잡하고 더 인지적인 작업을 처리할 수 있다.
- 단, AI가 수행한 작업의 결과가 타당할 때에만 활용할 수 있다. 최신 블랙박스가 인간이 이해하지 못하는 결정을 내리면 사람들은 블랙박스를 꺼버릴 것이기 때문이다. 따라서 어느 수준까지 AI의 결정을 ‘이해하는 것’이 매우 중요하다.
- 그러나 결정을 이해하고 해석하는 것과 그 알고리즘이 어떻게 작용하는지 이해하는 것과는 완전히 다르다. 입력, 선택, 가중치 및 결과의 기본 원리는 이해해야 하고, 프로세스를 검증조차 할 수 없을 만큼 복잡한 데이터 조합 사이를 끊임없이 돌아다녀야 한다.

이와 함께 데이터 과학을 적절히 활용하는 것 또한 경험에 의해 얻어지는 문화적 마음가짐을 요구한다. 이런 과정에 지름길은 없다. 데이터 과학에 먼저 투자한 기업은 그렇지 않은 기업을 당연히 앞서갈 것이고, 이를 통해 해당 기업은 상당 기간 지속할 가능성이 높은 경쟁 우위를 확보하게 될 것이다. editor@itworld.co.kr  


2018.11.23

토픽브리핑 | "실패 속에 보이는 성공의 길" 인공지능과 머신러닝을 위한 변명과 해법

이대영 기자 | ITWorld
수십 년에 걸쳐 점진적으로 발전해 오던 머신러닝과 인공지능은 지난 수년 동안 엄청난 화제를 일으키며 새로운 도약의 계기를 마련했다. 일부 시장에서는 이미 성공적인 사례를 확보하는 등 좋은 움직임을 보이고 있으나 여전히 머신러닝을 바라보는 전반적인 시각은 회의적이다.

그도 그럴 것이 기업은 머신러닝의 활용 방법을 찾기 위해 많은 투자를 하고 있지만, 현 시점에서는 확실히 성공보다 실패라는 결과물이 더 많다. 최대한 너그럽게 본다고 해도 오라일리 설문조사 결과처럼 성공 확률은 15% 정도다.

이 설문조사에 따르면, 대다수 기업(85%)이 아직도 인공지능과 머신러닝으로 가는 길목에서 방황하고 있다. 불과 15%의 기업만이 5년 이상 머신러닝을 실무적으로 운영해왔다. 가트너 또한 대부분 조직이 머신러닝에 대해 꿈만 꾸고 있으며, 15% 미만의 기업만이 성공적으로 수행할 수 있을 것으로 예측한 바 있다.

칼럼 | '삽질' 혹은 '애널리틱스'··· 머신러닝에 지름길은 없다

맵알(MapR) 수석 애플리케이션 아키텍트 테드 더닝은 "머신러닝이 쉽다고 생각한다면 완전히 헛짚었다. 머신러닝 기술을 구매할 수 있는 것이라고 생각한다면 성공할 가능성이 없다"고 잘라 말했다.

더닝은 "머신러닝은 표준 소프트웨어 엔지니어링 방식으로는 제대로 처리할 수 없는 새로운 장애가 뒤따르기 때문에 성공률은 매우 낮다. 성공적인 데이터옵스(dataops) 팀은 복잡한 의사 소통과 여러가지 개발 프로세스를 필요로 한다"며, "머신러닝 시스템에는 숨겨져 있는 함정과 매우 미묘한 의존성이 있다. 여기에 복잡성이 결합되면 완벽하게 잘못된 길로 빠지게 된다"고 충고했다.

누구보다 머신러닝의 결과와 함정에 대해 잘 알고 있는 구글은 머신러닝을 사용하면서 발생하는 시스템의 숨겨진 기술적 문제에 대해 밝혔다. 구글은 "실제 머신러닝 시스템은 엄청난 유지보수 비용이 발생하는 것이 일반적이다. 이와 함께 따라오는 위험은 경계 침식, 숨겨진 피드백 루프, 불명확한 소비자, 데이터 종속성, 구성 문제, 외부 세계의 변화, 그리고 다양한 시스템 수준의 반패턴 등이다"고 강조했다.

그리고 이는 단지 시작에 불과하다. 소프트웨어 엔지니어링 팀은 일반적으로 이런 복잡성을 처리할 준비가 되어 있지 않기 때문에 상당히 심각한 실패를 맛볼 수 있다.

머신러닝을 시작하는 방법, "텐서플로우를 통해 머신러닝을 자사의 DNA에 각인시켜라"

이런 주장에 대해서는 머신러닝 신봉자들도 어느 정도 수긍하고 있다. 일반적으로 학습 과정이란 실수를 저지르고 잘못된 길을 택하면서 쌓은 경험을 통해 향후 동일한 함정을 피하는 방법을 알아 나가는 것을 의미한다. 머신러닝 또한 학습 과정을 거쳐 발전하는 것이기에 별반 다르지 않다.

하지만 이런 머신러닝 오류를 제때 탐지하고 적절히 대처하지 못하면 즉각적으로 통제할 수 있는 범위를 벗어나 머신러닝이 가진 이점을 모두 상쇄해버리는 결과를 초래할 수 있다. 머신러닝 구현 단계에서 IT 관리자가 유의해야 할 사항들을 실패 사례를 통해 정리하면 다음과 같다.

- 가정이 잘못되면 궤도를 이탈한다
- 감독하지 않으면 예기치 못한 오차가 발생할 수 있다
- 데이터 분류가 미흡하면 머신러닝 결과물이 상한다
- 미묘한 차이가 있는 분류는 혼동을 초래할 수 있다
- 테스트/훈련 오염은 머신러닝을 망칠 수 있다


머신러닝 실패 사례에서 배우는 다섯 가지 교훈

이와 함께 머신러닝을 활용하는 데 실패하는 원인은 크게 6가지로 다음과 같다.

- 비즈니스에 대한 이해 부족
- 낮은 데이터 품질
- 잘못된 머신러닝 사용
- 편견
- 부족한 인프라 자원
- 부실한 계획과 거버넌스의 부재


머신러닝을 실패로 이끄는 6가지 방법
IDG 블로그 | 흔히 저지르는 머신러닝 실수 3가지


이런 함정과 장애물들을 극복하고 머신러닝을 성공적으로 도입한 이후에도 여러가지 도전 과제가 발생하는데, 이 문제들은 그 누구도 겪어보지 못한 새로운 것이기에 기업은 문제 해결을 위한 자체 역량을 키워야 한다.

“도입 그 이후를 말한다” 머신러닝 정착 전략과 과제 - IDG Deep Dive

가트너의 앤드루 화이트는 기업이 머신러닝 모델을 이해하고 이런 이해가 결과에 대한 신뢰로 이어지는 과정을 다음과 같이 설명했다.

- AI의 가장 새로운 측면은 AI가 문제를 새롭게 규정할 수 있다는 것이다. 너무 복잡해 일상적으로 할 수 없다고 생각했던 작업이 이제 AI를 통해 가능해졌다. AI는 과거의 기술보다 더 복잡하고 더 인지적인 작업을 처리할 수 있다.
- 단, AI가 수행한 작업의 결과가 타당할 때에만 활용할 수 있다. 최신 블랙박스가 인간이 이해하지 못하는 결정을 내리면 사람들은 블랙박스를 꺼버릴 것이기 때문이다. 따라서 어느 수준까지 AI의 결정을 ‘이해하는 것’이 매우 중요하다.
- 그러나 결정을 이해하고 해석하는 것과 그 알고리즘이 어떻게 작용하는지 이해하는 것과는 완전히 다르다. 입력, 선택, 가중치 및 결과의 기본 원리는 이해해야 하고, 프로세스를 검증조차 할 수 없을 만큼 복잡한 데이터 조합 사이를 끊임없이 돌아다녀야 한다.

이와 함께 데이터 과학을 적절히 활용하는 것 또한 경험에 의해 얻어지는 문화적 마음가짐을 요구한다. 이런 과정에 지름길은 없다. 데이터 과학에 먼저 투자한 기업은 그렇지 않은 기업을 당연히 앞서갈 것이고, 이를 통해 해당 기업은 상당 기간 지속할 가능성이 높은 경쟁 우위를 확보하게 될 것이다. editor@itworld.co.kr  


X