'보고 느끼고 이해하는 컴퓨터의 출현'··· MS의 최신 연구 프로젝트 5선

2년 전, 마이크로소프트가 공개한 키넥트 포 윈도우(Kinect for Windows)는 말 그대로 PC의 눈을 뜨게 했다. 그리고 마이크로소프트의 연구원들은 이제 보는 방법을 가르치고 있다.

오랫동안 PC는 조용히 입을 다문 채 사용자들이 타이핑하거나 디스크를 삽입하기를 마냥 기다리고 있었다. 그리고 네트워크에 연결된 후에는, 사용자들의 명령에 따라 다른 컴퓨터에 연결하고 있어왔다. 그러나 지난 주, 실리콘 밸리 테크페어(Microsoft's Silicon Valley Techfair)에서 회사의 연구원들은 기계 비전(machine vision)과 새로운 독립성(independence)을 조합해 PC가 보는 것을 인식하고 해석하여 유용한 정보를 제공할 수 있도록 하는 방안을 시연했다.

구글이나 다른 실리콘 밸리 기업들과는 달리 마이크로소프트는 전통적으로 연구 발표회를 1년에 1-2회 정도 주최해왔다. 마치 사설 기업보다는 공립 대학과 유사한 행보였다. 연구 중 일부는 추후에 코르타나(Cortana) 디지털 비서 등의 제품으로 발표되곤 한다. 점차 더 많은 것들이 대중에 공개되고 있으며, 이는 회사 전략의 방향성을 시사하고 있다.

지난 주, 마이크로소프트의 연구원들은 약 18개의 프로젝트를 선보였다. 필자는 5가지를 선정했으며, 그 중 4가지는 어떤 식으로든 키넥트(Kinect)와 관련돼 있다. 물론, 마이크로소프트가 이 5가지 모두를 성공시킬 수는 없을 것이다. 하지만 미래의 성공은 보통 과거의 실패에 기초하는 법이다.

웹캡(Webcam): 차세대 키넥트
마이크로소프트의 빌드(Build)에 관한 기사를 유심히 관찰해왔다면, 비벡 프라딥(Vivek Pradeep)의 프레젠테이션이 그리 새롭게 느껴지지는 않을 것이다. 마이크로소프트 키넥트 포 윈도우 책임자 마이클 모트는 PC월드와의 단독 인터뷰에서 마이크로소프트가 웹캠을 깊이지각 카메라(Depth Camera)로 활용하는 방안을 활발히 개발하고 있다고 밝혔다.

해당 비디오에서 프라딥과 동료 연구원은 모노퓨전(MonoFusion)이라는 것을 시연하고 있다. 개념상 꽤 간단하다. 개조되지 않은 웹캠을 이용해 한 장면을 촬영한다. 여기에서 마이크로소프트 소프트웨어는 심도를 적용해 분석함으로써 객체의 3D 모델을 생성한다. 그리고 나서 해당 소프트웨어는 객체에 색상 또는 질감을 적용한다. 동물 무리를 촬영한 영상을 동물 자체의 모델로 변환시킬 수 있는 것이다.

프라딥은 모노퓨전에 대해 이미지를 촬영하고 3D 모델을 게임 또는 증강현실 애플리케이션에 내보내기 할 수 있는 단순하면서 강력한 SDK라고 밝혔다. 엄청난 가능성을 가진 것은 분명해 보인다.

플로팅 디스플레이와 제스처(Gesture) 인식
약 1년 전, 마이크로소프트 이진하 연구원은 편광안경과 일부 지능형 소프트웨어를 조합해 바탕화면에 깊이감을 적용한 3D 바탕화면을 공개했었다. 현재, 마이크로소프트 연구원 팀 라지는 이와 다소 유사한 느낌을 주는 2번째 물리적인 "플로팅 디스플레이(floating display)"를 개발했다.

라지는 이것이 일반적인 2D 디스플레이를 이용하고 그 위에 일련의 플라스틱 필름을 적용해 LCD 모니터가 방출하는 특정 범위의 빛에 "맞추어 조율"한 것이라고 설명했다. 아래의 영상에서 볼 수 있듯이 필름은 모티어 위의 공중에 "떠 있는" 보조 화면을 생성한다. 두 번째 연구원 유타카 토쿠다(Yutaka Tokuda) 또한 키넥트을 이용해 메인 화면 위에 보조 화면 콘텐츠를 겹쳐 놓을 수 있음을 시연했다.


라지와 토쿠다 모두 보조 디스플레이를 통해 디지털 생성물을 사실적으로 표현하는 방법을 시연했지만, 마이크로소프트가 이것으로 무엇을 하려는 것인지는 이해하기 어렵다. 뉴스 보도, 일기예보, 축구경기에서 영상 위에 정보를 겹쳐놓는 것은 보편화되었지만, PC의 화면에 너무 많은 정보를 표시하면 문제가 될 수 있다. 이 둘 모두 초점을 이용하여 특정 요소를 더욱 가깝게 보이도록 하는 것으로 추정된다.

한편 3년 3월, 마이크로소프트는 퍼셉티브 픽셀(Perceptive Pixel)의 거대한 터치화면을 이용해 직원들에게 거대한 영상 화이트보드를 제공할 수 있는 방법을 시연한 바 있다. 그러나 , 플로팅 디스플레이는 그리 대단한 것은 아닌 것으로 보인다.

비보드(ViiBoard): 콜래보레이션 어노테이션(collaborative annotation)
마이크로소프트의 플로팅 디스플레이가 늘어져 보인다면 비보드는 오늘날 일터의 연장선 같은 느낌이다. 그 개념은 매우 간단하다. 키넥트 센서를 PPI(Perceptive Pixel) 디스플레이와 연계함으로써, 화이트보드인 디스플레이에 접근하는 사용자를 인식한다. 그리고 무엇을 쓸지라도 다른 색상으로 표시하고 저장한다.

(본 프로젝트를 V터치라 부르는) 마이크로소프트의 수석 연구 엔지니어 인펭 쳉은 인상적인 시연을 선보였다. 예를 들어, 사용자가 접근하면 화면이 어두워진다. 위로 손을 흔들면 사용 메뉴가 표시되고 사용자가 화면 앞에서 좌우로 움직일 때 해당 메뉴가 사용자를 따라 다닌다. 그리고 사용자가 10개의 손가락을 ‘타이핑’을 치려는 제스처를 보이면 키보드가 나타난다.

심지어 사용자가 사용하는 손에 따라 손가락 또는 스타일러스를 이용한 "펜스트로크(penstrokes)"를 색상으로 표시할 수 있으며, 한 번의 제스처로 구불구불한 선을 신속하게 삭제할 수 있다.

쳉은 V터치에 대해 화이트보드가 더욱 가치 있게 되는 방법이라고 언급했다. 그리고 그것은 몇몇 무료 써드파티 오피스 스위트들이 MS 오피스의 기능을 모방하는 것뿐 아니라 고개를 숙이기 시작하는 중심축이 됐다고 평가했다.

그러나 V터치는 현재까지 문서 공유와 협업으로 제한된다. 그럼에도 불구하고 원격 회의 또는 협업 논의를 위해 회의실에 모이는 기업들에게 있어서 V터치 또는 비보드는 스카이프 또는 PPI 전용 앱에 있어 미래의 발전을 의미할 수 있다.

실시간 동물 (그리고 인간) 추적
마이크로소프트 리서치(Microsoft Research)의 CEES(Computational Ecology and Environmental Sciences) 부문은 생물학자 및 기타 동물 연구가들이 야생 동물을 추적하고 연구하는데 도움을 주려한다. 또 그들이 개발한 기술은 법 집행 기관이나 군 조직이 이용할 수도 있다.

마이크로소프트 리서치의 과학자 루카스 조파는 자신의 연구가 영상에 기록된 객체를 추적하는 소프트웨어 알고리즘 주트레이서(Zootracer), 7g짜리 GPS 지원 추적 장치 마타키(Mataki), 마타키 장치가 장착된 대상과 무선으로 통신하고 발견하여 자동 추적하도록 개발된 무인 드론(Drone) 등 3가지 요소로 구성되어 있다고 말했다


그러나 그에 따르면 주트레이서는 다소 흐리멍텅 할 때가 있다. 영상에 녹화된 객체를 구별하거나 키넥트를 이용할 수 있지만, 제대로 동작되는 경우가 아직은 드물다.

조파는 이와 관련해 벌 등의 객체가 지점들 사이를 이동할 때 이를 식별하는 알고리즘을 어떻게 "학습시킬 수 있는지" 시연했다. 하지만 벌을 여러 번에 걸쳐 정지시키고 식별시키자 센서는 화면 주위를 이동하는 벌을 추적하기 시작했다.

벌이 이동할 때는 문제가 없다. 하지만 더 큰 동물과 환경에 대해 배우기 위해 마이크로소프트는 동물에 부착할 수 있는 센서 패키지인 마타키를 개발했다. 단거리 무선 메시(Mesh) 통신을 통해 마타키는 정보를 다른 센서로 전송할 수 있다. 그리고 이것으로 충분하지 않다면 마이크로소프트가 위에서 데이터를 수집하거나 센서의 GPS 데이터 스트림을 이용해 공중의 특정 마타키 센서를 "찾아내고" 추적하도록 개발한 드론이 있다.

한편 아마존(Amazon)은 비밀리에 조파를 검토하기도 했다. 쇼핑 또는 택배 서비스는 수취인의 위치를 정확히 파악해야 하며, 배달 시간을 조금이라도 아낄 수 있게 해주는 쇼핑 드론으로의 목적에서다.

인쇄 가능한 전자제품
3D 프린팅이 더욱 일반화되고 있지만, 이를 위해서는 시간, 돈, 재료를 3D 프린터와 기질에 투자해야 한다. 또는 ‘절삭(Subtraction)’ 프린터는 재료 덩어리를 에칭(etch)할 수 있다. 어쨌든 우리는 수십 년 동안 컴퓨터 칩을 포토리소그라피(Photolithography)를 이용해 규소를 에칭하는 "3D 프린팅" 방식으 제작해 왔다. 마찬가지로 잉크젯 프린터의 금속제 잉크를 이용해 컴퓨터 회로를 "인쇄"하는 공정이 집에서도 가능한 수준으로 보편화되었다.


하지만 마이크로소프트의 연구원 스티브 호지스(1:13부터 시작)는 이 두 가지를 흥미로운 방식으로 조합했다. 호지스는 칩이 내장된 소수의 작은 PCB(Printed Circuit Board)를 이용해 100달러짜리 잉크젯 프린터로 인화지 위에 금속 연결부를 인쇄했다. 그리고 나서 3M의 전기 전도성 양면 테이프를 이용해 이 마이크로 PCB를 종이에 부착했다. 짜잔! 동작 센서와 같은 제품에서 이용할 수 있는 가정용 제품이 탄생했다.
현재 일부 설계사무소에서는 이미 3D 프린터를 이용해 프로토타입을 제작하고 있다. 저렴하고 손쉬운 로직(Logic) 보드를 추가하는 것은 그리 실용적이라고 할 수는 없을 것이다. 그러나 최소한 간단한 프로토타입 제작에는 3D 프린터가 유용할 수 있을 것이다.

이제 막 PC는 보고, 듣고 이해한다는 것이 어떤 의미인지 인류는 이해하기 시작했다. 우리는 기술이 개인적인 삶에 침해하는 것을 의심스럽게 바라보는 경향이 있다. 동시에 디지털 비서 등이 삶을 얼마나 개선할 수 있는지에 놀라고 있다.

인류는 앞으로 구글 글래스(Google Glass) 등의 웨어러블 기기가 삶의 요소를 훔쳐보지 못하도록 시도하면서도 PC가 집과 사무실에 더욱 접근할 수 있도록 허용하게 될 것이다. ciokr@idg.co.kr