2019.06.14

프로젝트 솔리 심층 분석 : 레이더 감지 제스처로 픽셀 4가 차별화를 꾀하는 방법

JR Raphael | Computerworld
공상과학 소설에나 나올 법한 이야기를 준비했다. 소문이 사실이라면 구글은 자사의 차세대 픽셀 스마트폰에 미래형 레이더 칩을 포함시킬 계획이며, 새로운 종류의 비 터치 제스처 제어 기능을 허용할 수도 있다고 한다.

이제 확실하게 짚고 넘어가자. 칩 자체는 분명 사실이다. 의심의 여지가 없다. 구글은 사실 2015년부터 모토로라에서 태어난 ATAP(Advanced Technology and Projects) 그룹의 일환으로써 이를 언급해왔다. 해당 그룹이 지금은 없어진 구글의 모듈식 스마트폰 시스템인 프로젝트 아라(Project Ara)뿐만이 아니라 새로운 종류의 증강현실 플랫폼을 만들려다가 지금은 포기한 프로젝트 탱고(Tango) 프로그램을 진행한 그룹이다.
 
ⓒ Google

레이더 칩은 현재 진행되고 있는 프로젝트 솔리(Project Soli)라는 ATAP 프로젝트의 일부이며, 웹사이트 9to5Google에 따르면 최초의 솔리 기반 칩이 올 가을의 픽셀 4 스마트폰에 적용될 수도 있다고 한다. 이는 XDA 디벨로퍼스의 별도 보고서와도 일맥상통하는 것으로, XDA는 안드로이드 Q 베타 소프트웨어에서 일련의 기밀 제스처를 위한 OS 수준의 지원을 나타내는 일부 코드를 발견했다. 이는 일반적인 화면 기반 안드로이드 Q 제스처가 아니라 인식을 위해 특수 "인식 센서"가 필요한 완전히 새로운 종류의 HITA(Hands In The Air) 움직임이다.

그리고 올 해 초, 구글은 FCC로부터 이런 솔리 센서를 현재 규정이 허용하는 것보다 더 높은 주파수에서 작동할 수 있도록 허가하는 ‘면제 증서(Waiver)’를 받았다. 해당 보고서에서 FCC는 이런 움직임이 "비 터치 손 제스처 기술을 이용해 혁신적인 장치 제어 기능을 제공함으로써 대중의 이익에 기여한다"고 밝혔다.

정말 많은 일이 벌어지고 있다. 잠시 한 걸음 물러서서 전체를 좀 더 자세히 살펴보고 가까운 미래에 무엇이 등장하고 무엇이 사라질지에 대한 전체적인 맥락을 이해해보자.
 

프로젝트 솔리의 그다지 검소하지 않은 시작

처음부터 시작해 보자. 2015년 5월 당시, I/O 개발자 컨퍼런스의 일환으로 구글은 우선 프로젝트 솔리를 공개했다. 당시 그 개념은 시연에서는 충격적이었지만 세상에 공개되지는 못했던 다른 여러 연구 단계의 아이디어들과 마찬가지로 다소 설득력이 없는 것처럼 보였다.

이 프로젝트에 대해 설명하는 한 영상에서 프로젝트 솔리를 지원하는 사람들은 이 칩이 레이더를 사용해 손의 작은 움직임("미세 동작" 또는 "까딱거림")을 추적하고 이런 동작을 이용해 다양한 유형의 가상 인터페이스와 상호작용하는 방법에 대해 설명했다. 그들은 이 시스템이 "높은 프레임률"에서 레이더 신호로부터 "특정 제스처 정보를 추출하기 위해" 고안되었다고 설명했다.

일반적인 용어로 풀어 설명하자면 칩이 볼륨 노브를 돌리는 등의 비트는 동작이나 버튼을 누르는 것 같은 엄지와 검지의 터치 동작 등 손의 움직임을 정확하게 감지한 후 장치에서 해당 움직임에 맵핑된 동작을 수행하는 것이다.

이 4분짜리 영상을 깜짝 놀랄 수준임에 틀림없다.



물론, 구글 I/O 개발자 세션 시연이라는 점을 고려하면 절대로 (또는 최소한 가까운 미래에는) 일반인이 보거나 사용할 수 없을 수 있지만, 그래도 멋있다. 하지만 이 기술이 올 가을 픽셀 4를 통해 공개될 가능성이 있다면 완전히 새로운 의미를 갖는다.

그리고 솔리에 대한 이야기는 아직 끝나지 않았다.
 

솔리 센서 혁명

프로젝트 솔리는 첫 공개 후 약 1년 반 만에 다시 등장했다. 바로 다음 해인 2016년의 구글 I/O 컨퍼런스의 한 세션이었다. 해당 년도에 솔리 팀은 일반 스마트워치 하드웨어에서 구동할 수 있도록 충분히 작고 효율적이게 만들기 위해 칩을 작게 만들고 최적화했다고 밝혔다. 대부분의 레이더 기술을 구동하기 위해 필요한 일반적인 슈퍼컴퓨터의 성능에서 크게 진일보한 것이다. 솔리의 책임자 아이반 푸피레브는 "스마트워치에서 구동할 수 있다면 어디에서나 구동할 수 있다"고 강조했다.
 
ⓒ Google

솔리팀은 이어서 솔리 칩을 안드로이드 소프트웨어에서 구동했으며, 이미 워치뿐만이 아니라 스마트폰및 가정용 엔터테인먼트 장치와도 호환되었다고 밝혔다. 게다가 레이더는 최대 15미터(약 49피트) 거리에서 제스처를 감지할 수 있었다. 그리고 이 아이디어가 기존의 상호작용 형태를 대체하는 것이 아니라 이미 우리가 알고 있는 더욱 일상적인 방법에 추가적인 옵션을 제공하는 것이라고 설명했다. 

푸피레프는 "터치 화면과 음식 입력 등의 다른 상호작용 방식을 보완하고 향상시키는 3차원 상호작용을 제공한다"며, "우리는 그들과 경쟁하지 않는다. 우리는 그들과 협력한다"고 덧붙였다.



프레젠테이션 전체는 꽤 길지만 중간에 볼만한 시연이 포함되어 있다. 특히 손을 들어 스피커의 재생을 멈추는 제스처가 가장 인상 깊었다. 불가사의한 것은 최근에 발표된 구글 네스트 홈 맥스 스마트 디스플레이에 적용된 제스처가 떠오른다는 점이다. 사실 거의 동일하다.



네스트 홈 맥스는 일반 카메라를 이용해 제스처를 인식하는 것으로 보이지만, 그럼에도 불구하고 수행 방식의 유사성은 우연의 일치라고 보기에는 놀랍다. 특히, 솔리 팀이 궁극적으로 "주변의 장치를 제어"하는데 사용할 수 있는 "범용 제스처"를 마련하는 것에 대해 지속적으로 이야기했던 것을 고려한다면 더욱 그렇다.
 

솔리의 다음 단계

그렇다면 프로젝트 솔리와 제스처 감지 레이더 기술로 또 무엇을 할 수 있을까? 언뜻 보기에도 많다. 스코틀랜드에 있는 세인트앤드류스대학교의 연구에서도 솔리는 카드 세기, 나침반 방향 감지, 레고 탑의 블록 패턴 분석하기 등의 작업을 수행했다.



2019.06.14

프로젝트 솔리 심층 분석 : 레이더 감지 제스처로 픽셀 4가 차별화를 꾀하는 방법

JR Raphael | Computerworld
공상과학 소설에나 나올 법한 이야기를 준비했다. 소문이 사실이라면 구글은 자사의 차세대 픽셀 스마트폰에 미래형 레이더 칩을 포함시킬 계획이며, 새로운 종류의 비 터치 제스처 제어 기능을 허용할 수도 있다고 한다.

이제 확실하게 짚고 넘어가자. 칩 자체는 분명 사실이다. 의심의 여지가 없다. 구글은 사실 2015년부터 모토로라에서 태어난 ATAP(Advanced Technology and Projects) 그룹의 일환으로써 이를 언급해왔다. 해당 그룹이 지금은 없어진 구글의 모듈식 스마트폰 시스템인 프로젝트 아라(Project Ara)뿐만이 아니라 새로운 종류의 증강현실 플랫폼을 만들려다가 지금은 포기한 프로젝트 탱고(Tango) 프로그램을 진행한 그룹이다.
 
ⓒ Google

레이더 칩은 현재 진행되고 있는 프로젝트 솔리(Project Soli)라는 ATAP 프로젝트의 일부이며, 웹사이트 9to5Google에 따르면 최초의 솔리 기반 칩이 올 가을의 픽셀 4 스마트폰에 적용될 수도 있다고 한다. 이는 XDA 디벨로퍼스의 별도 보고서와도 일맥상통하는 것으로, XDA는 안드로이드 Q 베타 소프트웨어에서 일련의 기밀 제스처를 위한 OS 수준의 지원을 나타내는 일부 코드를 발견했다. 이는 일반적인 화면 기반 안드로이드 Q 제스처가 아니라 인식을 위해 특수 "인식 센서"가 필요한 완전히 새로운 종류의 HITA(Hands In The Air) 움직임이다.

그리고 올 해 초, 구글은 FCC로부터 이런 솔리 센서를 현재 규정이 허용하는 것보다 더 높은 주파수에서 작동할 수 있도록 허가하는 ‘면제 증서(Waiver)’를 받았다. 해당 보고서에서 FCC는 이런 움직임이 "비 터치 손 제스처 기술을 이용해 혁신적인 장치 제어 기능을 제공함으로써 대중의 이익에 기여한다"고 밝혔다.

정말 많은 일이 벌어지고 있다. 잠시 한 걸음 물러서서 전체를 좀 더 자세히 살펴보고 가까운 미래에 무엇이 등장하고 무엇이 사라질지에 대한 전체적인 맥락을 이해해보자.
 

프로젝트 솔리의 그다지 검소하지 않은 시작

처음부터 시작해 보자. 2015년 5월 당시, I/O 개발자 컨퍼런스의 일환으로 구글은 우선 프로젝트 솔리를 공개했다. 당시 그 개념은 시연에서는 충격적이었지만 세상에 공개되지는 못했던 다른 여러 연구 단계의 아이디어들과 마찬가지로 다소 설득력이 없는 것처럼 보였다.

이 프로젝트에 대해 설명하는 한 영상에서 프로젝트 솔리를 지원하는 사람들은 이 칩이 레이더를 사용해 손의 작은 움직임("미세 동작" 또는 "까딱거림")을 추적하고 이런 동작을 이용해 다양한 유형의 가상 인터페이스와 상호작용하는 방법에 대해 설명했다. 그들은 이 시스템이 "높은 프레임률"에서 레이더 신호로부터 "특정 제스처 정보를 추출하기 위해" 고안되었다고 설명했다.

일반적인 용어로 풀어 설명하자면 칩이 볼륨 노브를 돌리는 등의 비트는 동작이나 버튼을 누르는 것 같은 엄지와 검지의 터치 동작 등 손의 움직임을 정확하게 감지한 후 장치에서 해당 움직임에 맵핑된 동작을 수행하는 것이다.

이 4분짜리 영상을 깜짝 놀랄 수준임에 틀림없다.



물론, 구글 I/O 개발자 세션 시연이라는 점을 고려하면 절대로 (또는 최소한 가까운 미래에는) 일반인이 보거나 사용할 수 없을 수 있지만, 그래도 멋있다. 하지만 이 기술이 올 가을 픽셀 4를 통해 공개될 가능성이 있다면 완전히 새로운 의미를 갖는다.

그리고 솔리에 대한 이야기는 아직 끝나지 않았다.
 

솔리 센서 혁명

프로젝트 솔리는 첫 공개 후 약 1년 반 만에 다시 등장했다. 바로 다음 해인 2016년의 구글 I/O 컨퍼런스의 한 세션이었다. 해당 년도에 솔리 팀은 일반 스마트워치 하드웨어에서 구동할 수 있도록 충분히 작고 효율적이게 만들기 위해 칩을 작게 만들고 최적화했다고 밝혔다. 대부분의 레이더 기술을 구동하기 위해 필요한 일반적인 슈퍼컴퓨터의 성능에서 크게 진일보한 것이다. 솔리의 책임자 아이반 푸피레브는 "스마트워치에서 구동할 수 있다면 어디에서나 구동할 수 있다"고 강조했다.
 
ⓒ Google

솔리팀은 이어서 솔리 칩을 안드로이드 소프트웨어에서 구동했으며, 이미 워치뿐만이 아니라 스마트폰및 가정용 엔터테인먼트 장치와도 호환되었다고 밝혔다. 게다가 레이더는 최대 15미터(약 49피트) 거리에서 제스처를 감지할 수 있었다. 그리고 이 아이디어가 기존의 상호작용 형태를 대체하는 것이 아니라 이미 우리가 알고 있는 더욱 일상적인 방법에 추가적인 옵션을 제공하는 것이라고 설명했다. 

푸피레프는 "터치 화면과 음식 입력 등의 다른 상호작용 방식을 보완하고 향상시키는 3차원 상호작용을 제공한다"며, "우리는 그들과 경쟁하지 않는다. 우리는 그들과 협력한다"고 덧붙였다.



프레젠테이션 전체는 꽤 길지만 중간에 볼만한 시연이 포함되어 있다. 특히 손을 들어 스피커의 재생을 멈추는 제스처가 가장 인상 깊었다. 불가사의한 것은 최근에 발표된 구글 네스트 홈 맥스 스마트 디스플레이에 적용된 제스처가 떠오른다는 점이다. 사실 거의 동일하다.



네스트 홈 맥스는 일반 카메라를 이용해 제스처를 인식하는 것으로 보이지만, 그럼에도 불구하고 수행 방식의 유사성은 우연의 일치라고 보기에는 놀랍다. 특히, 솔리 팀이 궁극적으로 "주변의 장치를 제어"하는데 사용할 수 있는 "범용 제스처"를 마련하는 것에 대해 지속적으로 이야기했던 것을 고려한다면 더욱 그렇다.
 

솔리의 다음 단계

그렇다면 프로젝트 솔리와 제스처 감지 레이더 기술로 또 무엇을 할 수 있을까? 언뜻 보기에도 많다. 스코틀랜드에 있는 세인트앤드류스대학교의 연구에서도 솔리는 카드 세기, 나침반 방향 감지, 레고 탑의 블록 패턴 분석하기 등의 작업을 수행했다.



X