하지만 애플이 증강현실 영역에서 보이고 있는 열성이나 iOS 13과 아이패드OS 13에서 선보인 새로운 ARKit 3의 진척도를 보면 디지타임즈의 보도는 다소 의아하다. 사실, ARKit 3은 상당 부분 발전했지만, 대부분 A12 칩 이상을 탑재한 아이폰이나 아이패드에서만 사용할 수 있는 기능들이다. 이 때문에 애플이 ARKit을 발전시켰다는 것은 이 기능들을 활용할 수 있는 헤드셋이나 글래스를 만들고 있음을 시사한다.
단점은 현재의 휴대폰들이 아이폰의 후면 카메라와 연결된 머신러닝 기술만을 사용하며, 전면의 트루뎁스 센서는 활용하지 못한다는 점이다. 미래의 아이폰에는 VCSEL ToF(Time-of-Flight) 센서가 포함되리라는 소문도 있지만, 2020년에 나오는 아이폰에 적용될 전망이다. 따라서 아주 빠른 시일 내에는 글래스를 보지 못하거나, 최소한 아이폰이나 아이패드가 AR에 더 적합할 가능성이 높다.
우선 현실적으로 올가을 iOS 13과 아이패드OS 13이 탑재된 애플의 최신 디바이스에서 어떤 경험을 기대할 수 있을지 살펴보자.
사람 오클루전(People occlusion)
오클루전(occlusion)의 원리를 이해하려면 일식을 생각하면 된다. 달이 태양 앞을 지날 때 발생하는 현상이다. AR 용어에서는 포켓몬 고 AR 보기에서 사용자가 발견한 포켓몬이 의자나 다른 가구 뒤에 서 있는 것을 말한다. 현재의 ARKit 2에서는 “현실”의 착각은 포켓몬이 편평한 면에 “앉아”있을 때만 동작한다. 앞에 사람이 있으면 그 사람을 통과해서 오브젝트가 보이면서 ‘착각’이 깨지는 것이다.
하지만 ARKit 3에서는 바닥의 모양을 “읽고” 디지털 오브젝트가 있어야 할 위치를 실제 사람의 위치에 기반해 결정한다. 예를 들어, 가상의 화병이 탁자 위에 놓여 있고 사용자가 그 앞에 앉으면 자연스럽게 화병 오브젝트가 가려지는 것이다. 애플은 WWDC 행사 후 참가자들을 대상으로 커다란 공을 굴려서 볼링핀을 쓰러뜨리는 게임을 통해 이 기능을 체험할 수 있도록 했다.
이 기술은 현대 영상에서 자주 사용되는 ‘그린 스크린’ 효과도 낼 수 있다.
움직임 탐지
ARKit 3는 실시간 신체 움직임 탐지를 지원한다. 즉, 사람의 움직임을 학습해서 그대로 애니메이션 아바타로 구현하는 것이다. 재미있는 기능인데, 나중에 나올 몸 전체 미모티콘을 상상할 수 있다. 지금은 몇 초 정도만 사용할 수 있지만, 결국에는 가장 영향력이 있어질 수도 있다.하지만 더 정교해질 필요는 있다. WWDC 시연에서도 아바타의 움직임이 어색했다. 개인적으로는 아이폰의 후면 카메라에 적절한 ToF 센서가 탑재되면 움직임 추적이 향상될 것으로 전망한다.
공동 세션
증강현실은 보통 1인 경험(최소한 아이폰에서는)으로 알려졌지만, ARKit 3에는 공동 세션(collaborative sessions)이 도입되어 여러 사람이 AR 공간 안에서 함께 경험을 할 수 있게 됐다.WWDC에서는 모장(Mojang)에서 나온 2명의 발표자가 마인크래프트 어스(Minecraft Earth)에서 빌딩을 함께 구축하는 모습을 시연했다. 여기서는 시연자가 가상의 꽃 앞을 지나가면 꽃이 가려지는 모습도 보여서, ARKit 3의 사람을 가리는 기능(people occlusion)도 확인할 수 있었다.
전면 후면 카메라 동시 사용
ARKit 3은 개발자들이 전면 카메라와 후면 카메라를 동시에 사용해서 주변을 추적하도록 한다. 이 기능을 실제로 확인하진 못했지만, 아이폰 배터리 소모가 클 것으로 예상된다.현실적으로 이 기능은 iOS 사용자가 얼굴을 사용해서 후면 카메라로 매핑된 디지털 오브젝트와 상호작용할 수 있도록 한다. 사용자의 표정에 다른 캐릭터가 반응하는 게임으로도 이어질 수 있다.
여러 얼굴 추적하기
애플의 트루뎁스 센서는 얼굴 하나를 탐지하는 데 이미 매우 인상적이지만, ARKit 3은 아이폰이나 아이패드가 최대 3개의 얼굴을 탐지할 수 있도록 한다. 세 사람이 무척 가까이에 있어야 한다는 의미긴 하지만 멋진 기능이다. 미모티콘 기반의 노래 부르기 등에 활용할 수 있지 않을까?이 기능은 A12 칩 이상과 트루뎁스 센서를 탑재해야만 사용할 수 있어서, 현재는 아이폰 X, 아이폰 XS, 아이폰 XS 맥스, 아이폰 XR, 아이패드 프로에 한정되어 있다.