2018.12.19

아이폰 3D 스캐너 앱 캡처로 엿본 증강현실의 미래

Leif Johnson | Macworld
3D 스캐너라고 해서 다 값비싼 장비는 아니다. 사실 많은 사람들이 이미 주머니 속에 지니고 있다. 캡처(Capture) 라는 새로운 무료 앱은 아이폰 X 시리즈의 트루뎁스(TrueDepth) 센서를 사용해서 작은 물체의 대략적인 3D 모델을 만든다. 이 모델은 증강 현실을 통해 다른 환경으로 가져오거나 아이메시지를 비롯한 통신 수단을 통해 다른 사람과 공유할 수 있다.

또는 이렇게 설명도 가능하다. 캡처를 사용하면 내 아이폰 XS 맥스로 구형 매킨토시 SE의 3D 모델을 가능한 각 각도에서 신중하게(또는 제한 시간이 다 될 때까지) 스캔할 수 있다. 스캔을 마치면 마치 비디오 게임에서 도구를 다루듯이 앱 내에서 구형 맥의 3D 모델을 이리저리 돌려볼 수 있다. 또한 이 모델을 친구에게 보내면 친구는 자신의 아이폰 카메라를 사용해서 증강 현실을 통해 책상 위에 구형 맥을 올려놓고 감상할 수 있다. 단순히 보는 기능은 트루뎁스 센서가 내장되지 않은 아이폰 7에서도 가능하다.
 
ⓒ LEIF JOHNSON/IDG

듣기만 해도 혁신적이지 않은가? 다만 지금은 아주 기초적인 수준이다. 이 앱에 대해 아는 사람도 당연히 많지 않다. 개발사인 스탠다드 사이보그(Standard Cyborg)의 홍보 이미지조차 마치 어벤져스: 인피니티 워가 끝난 후의 사진처럼 황량해 보인다. 또한 다른 많은 스캔 앱과 마찬가지로 캡처 역시 현재 버전으로는 진정한 3D 모델을 만들 수 없다. 물체의 한 면을 꽤 정확하게 스캔할 수 있더라도 아랫면은 스캔할 수 없었다.


전면 카메라의 한계

그러나 스탠다드 사이보그가 비난을 받을 이유는 없다. 캡처의 불편함은 십여 cm 거리의 면만 읽을 수 있는 트루뎁스 센서의 현재 설계상 어쩔 수 없는 부분이기 때문이다. 아이폰의 트루뎁스 센서는 전면 카메라에만 있으므로 캡처는 손에 뭔가를 들고 스캔하거나 자신의 얼굴을 스캔하는 용도로만 사용할 수 있다.

후면 카메라로 동영상을 찍을 때와 같은 방식으로 뭔가를 스캔하려면 화면이 보이지 않는 상태에서, 애플 워치의 알림을 연상시키는 미세한 진동에만 의존해서 스캔해야 한다. 너무 빨리 움직이면 스캔이 그냥 종료된다. 결과적으로 필자의 완료된 스캔 폴더는 제대로 완성되지 않은 파일이 가득 차 있다. 솔직히 말해 만일 이 앱이 유료였다면 스탠다드 사이보그에 화가 났을 것이다.



그러나 스탠다드 사이보그의 공동 대표인 개럿 스피겔에 따르면 캡처는 비슷한 용도의 다른 앱보다는 나은 편이다. 트위터를 통한 대화에서 스피겔은 대부분의 경쟁 앱은 스탠다드 사이보그와 같은 벤처 자금 지원을 받지 않고 계산기하학 및 컴퓨터 비전 분야의 숙련된 엔지니어도 없이 취미 개발자들이 만든 것이라고 말했다. 스피겔은 이러한 앱은 대부분 느리고 불안정하며, 심지어 잘못된 설계로 인해 과도한 발열의 원인이 되기도 한다고 지적했다.

스피겔은 “반면 스탠다드 사이보그의 알고리즘은 초당 30프레임으로 작동하므로(가장 근접한 앱에 비해서도 두 배 이상) 더 매끄럽고, 빠른 속도로 파노라마를 찍는 것과 비슷하게 스캔이 가능하다”고 말했다.

또한 스피겔은 머신 러닝 모델이 적용된 스탠다드 사이보그의 통합 클라우드 스토리지 시스템을 통해 캡처 스캔본을 다른 앱으로 더 쉽게 가져올 수 있다는 점도 강조했다.

캡처는 무료 앱이므로 트루뎁스의 가능성을 보여주는 참신함 측면에서 긍정적으로 평가할 수 있다. 레이저로 얼굴의 각종 자국이나 주름 하나 놓치지 않고 포착하는 얼굴 인식 기술인 트루뎁스는 근래 애플의 가장 큰 혁신 중 하나다. 캡처 이미지를 보면 트루뎁스의 원리가 마치 맹인이 터치를 통해 사물을 “보는” 것과 비슷하다는 인상을 받게 된다. 삼성과 같은 경쟁업체의 사진을 기반으로 하는 얼굴 인식 시스템보다 몇 년은 앞선 기술이다. 최근에야 화웨이와 샤오미가 트루뎁스와 경쟁이 될 만한 적외선 스캐너를 구현했다.


AR 증강

애플은 확실히 증강 현실의 인기를 끌어올리기를 원하는데, 캡처는 3D 스캔이 그 수단이 될 가능성이 있음을 보여준다. 특히 애플이 후면 카메라에 트루뎁스를 넣는 데 성공한다면 그 가능성은 더욱 높아진다. 애플을 비롯해서 업계는 현재까지 AR의 실용적인 애플리케이션을 보여주지 못했다. 지금은 너무 많은 움직임이 필요한 사실적인 해부 앱, 또는 게임 정도가 AR 활용의 최전선이다.

그러나 캡처의 스캔 기술에서는 미래의 모습을 엿볼 수 있다. 가령 자동차 부품의 3D 모델을 스캔해서 아버지에게 보내면 아버지가 구형 포드 머스탱의 엔진 위에 오버레이 형식으로 올려 부품이 잘 맞는지 확인한다. 또는 계절이 계절이니 만큼 크리스마스 트리 장식품을 스캔해서 집에 있는 여자친구에게 보내면 여자친구가 실제 트리에 올려 잘 어울리는지 본다. 이런 풍경이 보통 사람들을 위한 AR의 모습이다.
 
캡처 스캔 진행 화면 ⓒ LEIF JOHNSON/IDG

스피겔은 개발자들이 캡처의 스캔 기술을 사용해서 소비자가 자신에게 맞는 특정 브랜드의 신발 사이즈를 확인하거나 코 모양과 꼭 맞는 안경을 찾는 데 도움이 되는 앱을 만들 수 있게 되기를 기대한다. 또한 스피겔은 캡처의 기반 기술이 게임용 가상 아바타를 만드는 데도 사용될 수 있을 것으로 본다.

지금으로서는 모두 SF 소설과 같은 이야기지만 필자는 현실화까지 그렇게 멀지 않다고 생각한다. 2017년에 블룸버그와 인터뷰한 소식통은 이르면 2019년부터 아이폰 후면 카메라에 3D 센서가 탑재될 수도 있다고 말했지만 밍치궈와 같은 신뢰성 높은 분석가들이 내놓은 최근 보고서를 보면 조금 더 기다려야 할 듯하다. 그러나 스피겔은 AR이 더 높은 인기를 얻기 위해서는 후면 카메라의 3D 센서가 필요하다고 강조했다.

스피겔은 후면 카메라의 3D 스캔 기술에 대해 “정확히 언제가 될지는 알 수 없지만 결국 구현될 수밖에 없다”면서 “TOF, VCSEL 등 어떤 기술을 사용할지는 확실치 않다. 그러나 폰을 이리저리 움직여야 하는 것과 같은 지금의 수동적인 AR 접근 방식으로는 안 될 것”이라고 말했다.

캡처는 트루뎁스가 지닌 막대한 잠재력을 상기시킨다. 애니모티콘과 미모티콘을 통해서도 트루뎁스의 가능성이 엿보이긴 했지만 어차피 대부분의 사람들은 폰 잠금을 해제할 때 또는 애플 페이나 인물 사진 모드를 사용할 때만 트루뎁스 기능을 인지한다. 또한 막상 사용할 때도 기반 기술은 겉으로 잘 드러나지 않는다.

캡처와 같은 기술은 이 분위기를 바꿀 수 있다. 또한 아이폰 X, 아이폰 XS와 같은 폰의 인기를 지금보다 더 끌어올리는 기능이 될 수도 있다.

스피겔은 “이 센서는 소비자에게 큰 혜택이다. 앞으로 몇 개월 동안 실용적인 애플리케이션이 나오고 주류로 부상하면 많은 소비자가 페이스ID/트루뎁스가 적용된 아이폰으로 업그레이드하거나 바꾸는 계기가 될 것”이라고 말했다. editor@itworld.co.kr
 


2018.12.19

아이폰 3D 스캐너 앱 캡처로 엿본 증강현실의 미래

Leif Johnson | Macworld
3D 스캐너라고 해서 다 값비싼 장비는 아니다. 사실 많은 사람들이 이미 주머니 속에 지니고 있다. 캡처(Capture) 라는 새로운 무료 앱은 아이폰 X 시리즈의 트루뎁스(TrueDepth) 센서를 사용해서 작은 물체의 대략적인 3D 모델을 만든다. 이 모델은 증강 현실을 통해 다른 환경으로 가져오거나 아이메시지를 비롯한 통신 수단을 통해 다른 사람과 공유할 수 있다.

또는 이렇게 설명도 가능하다. 캡처를 사용하면 내 아이폰 XS 맥스로 구형 매킨토시 SE의 3D 모델을 가능한 각 각도에서 신중하게(또는 제한 시간이 다 될 때까지) 스캔할 수 있다. 스캔을 마치면 마치 비디오 게임에서 도구를 다루듯이 앱 내에서 구형 맥의 3D 모델을 이리저리 돌려볼 수 있다. 또한 이 모델을 친구에게 보내면 친구는 자신의 아이폰 카메라를 사용해서 증강 현실을 통해 책상 위에 구형 맥을 올려놓고 감상할 수 있다. 단순히 보는 기능은 트루뎁스 센서가 내장되지 않은 아이폰 7에서도 가능하다.
 
ⓒ LEIF JOHNSON/IDG

듣기만 해도 혁신적이지 않은가? 다만 지금은 아주 기초적인 수준이다. 이 앱에 대해 아는 사람도 당연히 많지 않다. 개발사인 스탠다드 사이보그(Standard Cyborg)의 홍보 이미지조차 마치 어벤져스: 인피니티 워가 끝난 후의 사진처럼 황량해 보인다. 또한 다른 많은 스캔 앱과 마찬가지로 캡처 역시 현재 버전으로는 진정한 3D 모델을 만들 수 없다. 물체의 한 면을 꽤 정확하게 스캔할 수 있더라도 아랫면은 스캔할 수 없었다.


전면 카메라의 한계

그러나 스탠다드 사이보그가 비난을 받을 이유는 없다. 캡처의 불편함은 십여 cm 거리의 면만 읽을 수 있는 트루뎁스 센서의 현재 설계상 어쩔 수 없는 부분이기 때문이다. 아이폰의 트루뎁스 센서는 전면 카메라에만 있으므로 캡처는 손에 뭔가를 들고 스캔하거나 자신의 얼굴을 스캔하는 용도로만 사용할 수 있다.

후면 카메라로 동영상을 찍을 때와 같은 방식으로 뭔가를 스캔하려면 화면이 보이지 않는 상태에서, 애플 워치의 알림을 연상시키는 미세한 진동에만 의존해서 스캔해야 한다. 너무 빨리 움직이면 스캔이 그냥 종료된다. 결과적으로 필자의 완료된 스캔 폴더는 제대로 완성되지 않은 파일이 가득 차 있다. 솔직히 말해 만일 이 앱이 유료였다면 스탠다드 사이보그에 화가 났을 것이다.



그러나 스탠다드 사이보그의 공동 대표인 개럿 스피겔에 따르면 캡처는 비슷한 용도의 다른 앱보다는 나은 편이다. 트위터를 통한 대화에서 스피겔은 대부분의 경쟁 앱은 스탠다드 사이보그와 같은 벤처 자금 지원을 받지 않고 계산기하학 및 컴퓨터 비전 분야의 숙련된 엔지니어도 없이 취미 개발자들이 만든 것이라고 말했다. 스피겔은 이러한 앱은 대부분 느리고 불안정하며, 심지어 잘못된 설계로 인해 과도한 발열의 원인이 되기도 한다고 지적했다.

스피겔은 “반면 스탠다드 사이보그의 알고리즘은 초당 30프레임으로 작동하므로(가장 근접한 앱에 비해서도 두 배 이상) 더 매끄럽고, 빠른 속도로 파노라마를 찍는 것과 비슷하게 스캔이 가능하다”고 말했다.

또한 스피겔은 머신 러닝 모델이 적용된 스탠다드 사이보그의 통합 클라우드 스토리지 시스템을 통해 캡처 스캔본을 다른 앱으로 더 쉽게 가져올 수 있다는 점도 강조했다.

캡처는 무료 앱이므로 트루뎁스의 가능성을 보여주는 참신함 측면에서 긍정적으로 평가할 수 있다. 레이저로 얼굴의 각종 자국이나 주름 하나 놓치지 않고 포착하는 얼굴 인식 기술인 트루뎁스는 근래 애플의 가장 큰 혁신 중 하나다. 캡처 이미지를 보면 트루뎁스의 원리가 마치 맹인이 터치를 통해 사물을 “보는” 것과 비슷하다는 인상을 받게 된다. 삼성과 같은 경쟁업체의 사진을 기반으로 하는 얼굴 인식 시스템보다 몇 년은 앞선 기술이다. 최근에야 화웨이와 샤오미가 트루뎁스와 경쟁이 될 만한 적외선 스캐너를 구현했다.


AR 증강

애플은 확실히 증강 현실의 인기를 끌어올리기를 원하는데, 캡처는 3D 스캔이 그 수단이 될 가능성이 있음을 보여준다. 특히 애플이 후면 카메라에 트루뎁스를 넣는 데 성공한다면 그 가능성은 더욱 높아진다. 애플을 비롯해서 업계는 현재까지 AR의 실용적인 애플리케이션을 보여주지 못했다. 지금은 너무 많은 움직임이 필요한 사실적인 해부 앱, 또는 게임 정도가 AR 활용의 최전선이다.

그러나 캡처의 스캔 기술에서는 미래의 모습을 엿볼 수 있다. 가령 자동차 부품의 3D 모델을 스캔해서 아버지에게 보내면 아버지가 구형 포드 머스탱의 엔진 위에 오버레이 형식으로 올려 부품이 잘 맞는지 확인한다. 또는 계절이 계절이니 만큼 크리스마스 트리 장식품을 스캔해서 집에 있는 여자친구에게 보내면 여자친구가 실제 트리에 올려 잘 어울리는지 본다. 이런 풍경이 보통 사람들을 위한 AR의 모습이다.
 
캡처 스캔 진행 화면 ⓒ LEIF JOHNSON/IDG

스피겔은 개발자들이 캡처의 스캔 기술을 사용해서 소비자가 자신에게 맞는 특정 브랜드의 신발 사이즈를 확인하거나 코 모양과 꼭 맞는 안경을 찾는 데 도움이 되는 앱을 만들 수 있게 되기를 기대한다. 또한 스피겔은 캡처의 기반 기술이 게임용 가상 아바타를 만드는 데도 사용될 수 있을 것으로 본다.

지금으로서는 모두 SF 소설과 같은 이야기지만 필자는 현실화까지 그렇게 멀지 않다고 생각한다. 2017년에 블룸버그와 인터뷰한 소식통은 이르면 2019년부터 아이폰 후면 카메라에 3D 센서가 탑재될 수도 있다고 말했지만 밍치궈와 같은 신뢰성 높은 분석가들이 내놓은 최근 보고서를 보면 조금 더 기다려야 할 듯하다. 그러나 스피겔은 AR이 더 높은 인기를 얻기 위해서는 후면 카메라의 3D 센서가 필요하다고 강조했다.

스피겔은 후면 카메라의 3D 스캔 기술에 대해 “정확히 언제가 될지는 알 수 없지만 결국 구현될 수밖에 없다”면서 “TOF, VCSEL 등 어떤 기술을 사용할지는 확실치 않다. 그러나 폰을 이리저리 움직여야 하는 것과 같은 지금의 수동적인 AR 접근 방식으로는 안 될 것”이라고 말했다.

캡처는 트루뎁스가 지닌 막대한 잠재력을 상기시킨다. 애니모티콘과 미모티콘을 통해서도 트루뎁스의 가능성이 엿보이긴 했지만 어차피 대부분의 사람들은 폰 잠금을 해제할 때 또는 애플 페이나 인물 사진 모드를 사용할 때만 트루뎁스 기능을 인지한다. 또한 막상 사용할 때도 기반 기술은 겉으로 잘 드러나지 않는다.

캡처와 같은 기술은 이 분위기를 바꿀 수 있다. 또한 아이폰 X, 아이폰 XS와 같은 폰의 인기를 지금보다 더 끌어올리는 기능이 될 수도 있다.

스피겔은 “이 센서는 소비자에게 큰 혜택이다. 앞으로 몇 개월 동안 실용적인 애플리케이션이 나오고 주류로 부상하면 많은 소비자가 페이스ID/트루뎁스가 적용된 아이폰으로 업그레이드하거나 바꾸는 계기가 될 것”이라고 말했다. editor@itworld.co.kr
 


X