2017.08.01

글로벌 칼럼 | 데이터는 소프트웨어를 먹어 치우고, 소프트웨어는 세상을 먹어 치우고

James Kobielus | InfoWorld
AI의 기반이 되는 데이터 지향 머신러닝 알고리즘은 프로그래밍을 뒤엎을 뿐만 아니라 AI 자체의 장벽도 낮춘다.

소프트웨어 엔지니어링이 21세기에 존재하는 만물을 좌지우지한다는 데는 이론의 여지가 없다. 필자는 마크 안드레센이 "소프트웨어가 세계를 먹어 치우고 있다"고 선언했을 때도 놀라지 않았다. 안드레세네은 소프트웨어 엔지니어링으로 부를 일군 여러 기업에 막대한 돈을 투자했기 때문이다.

이 말은 정확히 무엇을 의미하며, 지금도 여전히 적용되는 말일까? 아니, 애초에 적용된 적이 있긴 있었을까? 필자는 최근 안드레센의 당시 신문 논평을 다시 읽으면서 이런 질문들을 떠올렸고, 안드레센이 "소프트웨어"를 "프로그래밍"과 동일시했음을 알아차렸다.

또한 안드레센은 "먹어 치운다"는 말을 "실리콘 밸리 스타일의 기업가적 기술 기업들"이 업계를 점령한다는 의미로 사용했다. 그 예시로 아마존, 넷플릭스, 애플, 구글을 비롯한 대표적인 이름들을 나열했다. 안드레센이 언급한 이들의 공통점은 웹, 모바일, 소셜, 클라우드, 기타 24/7 온라인 채널을 현실화하는 코드를 찍어내는 프로그래머들의 등에 올라타 글로벌 규모의 비즈니스 모델을 구축했다는 것이다.

이 논평이 월스트리트저널에 게재된 시점이 2011년이니, 5년이 지난 지금 이 대담한 실리콘 밸리 승리주의적 선언이 선견지명이었는지 아니면 단순한 자기도취적 오판이었는지 판단을 해보자. 필자 생각에는 선경지명쪽에 가까운 것 같다. 안드레센이 언급한 대부분(전부는 아니지만)의 성공한 기업들은 이후에도 성장하고 수익성을 높이고 인수와 혁신을 지속했다. 실제로 마크 저커버그와 같은 프로그래밍 배경을 가진 수십억 달러 규모의 자산가가 새로운 비즈니스 시대의 슈퍼스타로 부상했다.

톰 피터스는 1982년 베스트셀러 "초우량 기업의 조건(In Search of Excellence)"에서 여러 기업을 모범 사례로 꼽았는데, 이후 그 기업들 중 상당수가 비즈니스 경쟁에서 밀려나 사라지거나 미처 예견하지 못한 흐름의 공격으로 도태되면서 수모를 겪은 바 있다. 적어도 안드레센은 지금까지는 톰 피터스의 전철을 밟지 않고 있다.

머신러닝의 부상
그러나 특히 안드레센이 인용한 전형적인 파괴적 기업들의 관점에서 "소프트웨어"는 일반적인 인식처럼 미래의 성공을 위한 비결이 아니라는 것이 명확해졌다. 앞으로 와해의 동인은 AI를 움직이는 데이터 기반의 머신러닝 알고리즘이 된다.

이 새로운 시대에 지능적인 애플리케이션을 움직이는 논리는 대부분 명시적으로 프로그램되지 않는다. 선언적이고 결정적이며 규칙을 기반으로 하는 애플리케이션 개발의 시대는 빠르게 저물고 있다. 챗봇, 추천 엔진, 자율 운전 자동차 및 기타 AI 기반 애플리케이션의 중심에는 소스 데이터에서 직접 수확되는 확률적 논리가 자리한다.

우리 삶에 스며드는 "다음 최선의 행위" 논리는 사물 인터넷과 기타 프로덕션 애플리케이션에서 생성되는 데이터의 지속적인 간섭을 통해 애플리케이션 내에서 계속 진화하는 중이다. 그 결과로, 확고하고 빠른 애플리케이션 논리를 구축하는 사람들이라는 전통적인 관점에서의 프로그래머에 대한 수요는 줄어들게 된다. 그 대신 새로운 종류의 개발자, 즉 데이터 과학자에 대한 수요가 계속 증가한다. 데이터 과학자라는 용어는 AI 중심의 애플리케이션이 의존하는 회귀 모델, 신경망, 서포트 벡터 머신, 자율 학습 모델 및 기타 머신러닝 알고리즘을 만들고 교육시키고 관리하는 폭넓은 범위의 전문가를 의미한다.

이 새로운 시대에서 프로그래머의 소외를 악화시키는 요소는 필자가 최근 글에서 언급했듯이 머신러닝 기반 코드 생성이 앞으로 증가할 가능성이 높다는 것이다. 아마존, 구글, 페이스북, 마이크로소프트 및 기타 소프트웨어 기반 대기업들은 포스트 프로그래밍 시대에서 성공을 이어가기 위해 데이터 과학에 대대적으로 투자했다. 이들 기업은 모두 지속적인 사업 운영에서 방대한 양의 학습 데이터를 수집했다. 이러한 이유로 "실리콘 밸리 스타일"의 거대 기업들은 거의 모든 애플리케이션을 위한 혁신적인 AI/머신러닝 기반 알고리즘을 구축, 조정, 최적화하는 데 필요한 리소스를 스스로 갖고 있다고 확신한다.

그러나 이러한 거대 기업들이 AI/머신러닝 자산에서 획득한 모든 전략적 이점은 단기간에 사라질 수도 있다. 데이터 기반 접근 방법은 전통적인 프로그래밍의 기반을 침식하는 것과 마찬가지로 고도의 기술을 가진 데이터 과학자들의 일까지 가장자리부터 야금야금 침식해 들어오는 중이다. 이러한 추세는 자금력이 풍부한 대형 소프트웨어 기업들이 이용할 수 있는 규모의 경제까지 갉아먹기 시작했다.

AI와 골리앗
우리는 누구나 클라우드 기반 자원에 접근해 혁신적인 AI/머신러닝 앱의 개발, 배포, 최적화를 저렴하게 자동화할 수 있는 시대로 접어들고 있다. "뱀이 스스로의 꼬리를 잡아먹는" 형국으로, 머신러닝 기반 접근 방법은 머신러닝 모델의 생성과 최적화를 점점 더 자동화할 것이다.

또한 스탠포드의 스노클(Snorkel) 프로젝트와 같은 연구 활동을 보면 머신러닝은 머신러닝 학습 데이터의 수집과 라벨링을 자동화하는 역할도 점점 넓혀나가고 있다. 이 말은 차세대 개발자는 풍부한 오픈소스 알고리즘, 모델, 코드, 데이터 외에, 대용품이지만 충분히 좋은 라벨링된 학습 데이터를 즉석에서 생성해 새 앱을 의도한 목적에 맞게 튜닝할 수 있게 된다는 것을 의미한다.

저렴하게 생성할 수 있는 학습 데이터가 증가하면 기존 소프트웨어 기업들의 방대한 데이터 레이크(소속 개발자들이 소스에서 가져온 페타바이트 규모의 학습 데이터를 보관하고 유지하는 곳)는 전략적 자산보다는 오히려 짐이 될 수도 있다. 마찬가지로, 이 소스 데이터를 사용하기 위해 복잡한 데이터 준비 논리를 관리해야 한다는 점 역시 새로운 AI 앱을 빠르게 구축, 교육, 배포해야 하는 개발자의 역량을 저해하는 병목 요소가 될 수 있다.

모든 개발자가 구글이나 페이스북만큼 정확한 AI 앱을 이러한 거대 기업들보다 훨씬 더 적은 전문 기술과 예산, 학습 데이터로 만들 수 있게 될 때 새로운 시대가 도래하게 된다. 그 변곡점에 이르면 데이터 과학을 기반으로 하는 새로운 세대의 파괴자들이 과거의 소프트웨어 신생 기업들을 먹어 치우기 시작할 것이다.

* James Kobielus는 실리콘앵글 위키본(SiliconAngle Wikibon)의 AI, 데이터 과학, 애플리케이션 개발 담당 리드 애널리스트이다.  editor@itworld.co.kr

2017.08.01

글로벌 칼럼 | 데이터는 소프트웨어를 먹어 치우고, 소프트웨어는 세상을 먹어 치우고

James Kobielus | InfoWorld
AI의 기반이 되는 데이터 지향 머신러닝 알고리즘은 프로그래밍을 뒤엎을 뿐만 아니라 AI 자체의 장벽도 낮춘다.

소프트웨어 엔지니어링이 21세기에 존재하는 만물을 좌지우지한다는 데는 이론의 여지가 없다. 필자는 마크 안드레센이 "소프트웨어가 세계를 먹어 치우고 있다"고 선언했을 때도 놀라지 않았다. 안드레세네은 소프트웨어 엔지니어링으로 부를 일군 여러 기업에 막대한 돈을 투자했기 때문이다.

이 말은 정확히 무엇을 의미하며, 지금도 여전히 적용되는 말일까? 아니, 애초에 적용된 적이 있긴 있었을까? 필자는 최근 안드레센의 당시 신문 논평을 다시 읽으면서 이런 질문들을 떠올렸고, 안드레센이 "소프트웨어"를 "프로그래밍"과 동일시했음을 알아차렸다.

또한 안드레센은 "먹어 치운다"는 말을 "실리콘 밸리 스타일의 기업가적 기술 기업들"이 업계를 점령한다는 의미로 사용했다. 그 예시로 아마존, 넷플릭스, 애플, 구글을 비롯한 대표적인 이름들을 나열했다. 안드레센이 언급한 이들의 공통점은 웹, 모바일, 소셜, 클라우드, 기타 24/7 온라인 채널을 현실화하는 코드를 찍어내는 프로그래머들의 등에 올라타 글로벌 규모의 비즈니스 모델을 구축했다는 것이다.

이 논평이 월스트리트저널에 게재된 시점이 2011년이니, 5년이 지난 지금 이 대담한 실리콘 밸리 승리주의적 선언이 선견지명이었는지 아니면 단순한 자기도취적 오판이었는지 판단을 해보자. 필자 생각에는 선경지명쪽에 가까운 것 같다. 안드레센이 언급한 대부분(전부는 아니지만)의 성공한 기업들은 이후에도 성장하고 수익성을 높이고 인수와 혁신을 지속했다. 실제로 마크 저커버그와 같은 프로그래밍 배경을 가진 수십억 달러 규모의 자산가가 새로운 비즈니스 시대의 슈퍼스타로 부상했다.

톰 피터스는 1982년 베스트셀러 "초우량 기업의 조건(In Search of Excellence)"에서 여러 기업을 모범 사례로 꼽았는데, 이후 그 기업들 중 상당수가 비즈니스 경쟁에서 밀려나 사라지거나 미처 예견하지 못한 흐름의 공격으로 도태되면서 수모를 겪은 바 있다. 적어도 안드레센은 지금까지는 톰 피터스의 전철을 밟지 않고 있다.

머신러닝의 부상
그러나 특히 안드레센이 인용한 전형적인 파괴적 기업들의 관점에서 "소프트웨어"는 일반적인 인식처럼 미래의 성공을 위한 비결이 아니라는 것이 명확해졌다. 앞으로 와해의 동인은 AI를 움직이는 데이터 기반의 머신러닝 알고리즘이 된다.

이 새로운 시대에 지능적인 애플리케이션을 움직이는 논리는 대부분 명시적으로 프로그램되지 않는다. 선언적이고 결정적이며 규칙을 기반으로 하는 애플리케이션 개발의 시대는 빠르게 저물고 있다. 챗봇, 추천 엔진, 자율 운전 자동차 및 기타 AI 기반 애플리케이션의 중심에는 소스 데이터에서 직접 수확되는 확률적 논리가 자리한다.

우리 삶에 스며드는 "다음 최선의 행위" 논리는 사물 인터넷과 기타 프로덕션 애플리케이션에서 생성되는 데이터의 지속적인 간섭을 통해 애플리케이션 내에서 계속 진화하는 중이다. 그 결과로, 확고하고 빠른 애플리케이션 논리를 구축하는 사람들이라는 전통적인 관점에서의 프로그래머에 대한 수요는 줄어들게 된다. 그 대신 새로운 종류의 개발자, 즉 데이터 과학자에 대한 수요가 계속 증가한다. 데이터 과학자라는 용어는 AI 중심의 애플리케이션이 의존하는 회귀 모델, 신경망, 서포트 벡터 머신, 자율 학습 모델 및 기타 머신러닝 알고리즘을 만들고 교육시키고 관리하는 폭넓은 범위의 전문가를 의미한다.

이 새로운 시대에서 프로그래머의 소외를 악화시키는 요소는 필자가 최근 글에서 언급했듯이 머신러닝 기반 코드 생성이 앞으로 증가할 가능성이 높다는 것이다. 아마존, 구글, 페이스북, 마이크로소프트 및 기타 소프트웨어 기반 대기업들은 포스트 프로그래밍 시대에서 성공을 이어가기 위해 데이터 과학에 대대적으로 투자했다. 이들 기업은 모두 지속적인 사업 운영에서 방대한 양의 학습 데이터를 수집했다. 이러한 이유로 "실리콘 밸리 스타일"의 거대 기업들은 거의 모든 애플리케이션을 위한 혁신적인 AI/머신러닝 기반 알고리즘을 구축, 조정, 최적화하는 데 필요한 리소스를 스스로 갖고 있다고 확신한다.

그러나 이러한 거대 기업들이 AI/머신러닝 자산에서 획득한 모든 전략적 이점은 단기간에 사라질 수도 있다. 데이터 기반 접근 방법은 전통적인 프로그래밍의 기반을 침식하는 것과 마찬가지로 고도의 기술을 가진 데이터 과학자들의 일까지 가장자리부터 야금야금 침식해 들어오는 중이다. 이러한 추세는 자금력이 풍부한 대형 소프트웨어 기업들이 이용할 수 있는 규모의 경제까지 갉아먹기 시작했다.

AI와 골리앗
우리는 누구나 클라우드 기반 자원에 접근해 혁신적인 AI/머신러닝 앱의 개발, 배포, 최적화를 저렴하게 자동화할 수 있는 시대로 접어들고 있다. "뱀이 스스로의 꼬리를 잡아먹는" 형국으로, 머신러닝 기반 접근 방법은 머신러닝 모델의 생성과 최적화를 점점 더 자동화할 것이다.

또한 스탠포드의 스노클(Snorkel) 프로젝트와 같은 연구 활동을 보면 머신러닝은 머신러닝 학습 데이터의 수집과 라벨링을 자동화하는 역할도 점점 넓혀나가고 있다. 이 말은 차세대 개발자는 풍부한 오픈소스 알고리즘, 모델, 코드, 데이터 외에, 대용품이지만 충분히 좋은 라벨링된 학습 데이터를 즉석에서 생성해 새 앱을 의도한 목적에 맞게 튜닝할 수 있게 된다는 것을 의미한다.

저렴하게 생성할 수 있는 학습 데이터가 증가하면 기존 소프트웨어 기업들의 방대한 데이터 레이크(소속 개발자들이 소스에서 가져온 페타바이트 규모의 학습 데이터를 보관하고 유지하는 곳)는 전략적 자산보다는 오히려 짐이 될 수도 있다. 마찬가지로, 이 소스 데이터를 사용하기 위해 복잡한 데이터 준비 논리를 관리해야 한다는 점 역시 새로운 AI 앱을 빠르게 구축, 교육, 배포해야 하는 개발자의 역량을 저해하는 병목 요소가 될 수 있다.

모든 개발자가 구글이나 페이스북만큼 정확한 AI 앱을 이러한 거대 기업들보다 훨씬 더 적은 전문 기술과 예산, 학습 데이터로 만들 수 있게 될 때 새로운 시대가 도래하게 된다. 그 변곡점에 이르면 데이터 과학을 기반으로 하는 새로운 세대의 파괴자들이 과거의 소프트웨어 신생 기업들을 먹어 치우기 시작할 것이다.

* James Kobielus는 실리콘앵글 위키본(SiliconAngle Wikibon)의 AI, 데이터 과학, 애플리케이션 개발 담당 리드 애널리스트이다.  editor@itworld.co.kr

X