2021.09.28

iOS 15 지도 앱으로 보는 애플의 AR/ML 전략

Jonny Evans | Computerworld
애플이 지도 앱에서 증강현실(AR)을 이용한 도시 가이드 기능을 선보였다. 아이폰 카메라와 디스플레이를 사용해 사용자가 가고 있는 길을 3D로 표시하는 방식이다. 애플이 그리는 적극적인 AR 활용 계획 가운데 일부이기도 하다.
 
ⓒ Apple

AR 도시 가이드는 런던과 로스앤젤레스, 뉴욕, 샌프란시스코에서 사용할 수 있다. 애플은 지난 6월 세계 개발자 회의에서 iOS 15를 발표하면서 보행자 내비게이션 기능을 점차적으로 도입할 계획이라고 발표했다. 작동 방식은 다음과 같다.
 
  • 아이폰을 잡고 카메라 앱을 켠다.
  • 카메라 앱으로 주변 건물을 촬영한다.
  • 아이폰이 카메라 앱이 인식하고 있는 이미지를 분석해 사용자의 위치를 파악한다.
  • 지도를 생성해 사용자의 위치를 표시한 뒤 상세 이동 경로를 안내한다.

 
ⓒ Apple
행사에서 애플은 이 기능을 소개하기 위해 영국 본 스트리트역 이미지를 사용했다. 화면 속 커다란 화살표는 옥스포드 거리가 있는 오른쪽 방향을 가리키고 있었으며, 사진 하단에는 700미터 거리에 마블 아치역이 있다는 안내 문구가 있었다.

3D 내비게이션 기능은 애플이 그동안 보여준 것처럼, ‘작은 혁신’을 다양하게 활용하는 방법이다. 지도 앱에서는 뉴럴 엔진으로 작동하는 애플의 A 시리즈 프로세서다. 카메라가 촬영한 사물을 인식해 정확한 위치를 파악하기 위해서는 뉴럴 엔진이 활용하는 머신러닝 기능이 필수다. 이미지 분류와 정렬 API, 궤적 탐지 API, 문자 인식 및 검출, 수평 감지 API 등이 사용된다. 애플 기기에 내장된 위치 감지 기능과 데이터 맵핑, 기존 데이터베이스에 있는 길거리 사진을 바탕으로 목적지까지 가는 경로를 완벽에 가까울 정도로 정확하게 제공한다.

애플은 3D 내비게이션 기능 외에도 머신러닝을 활용한 다양한 기능을 이미 선보인 바 있다. 대표적인 것이 시네마틱 모드와 라이브 텍스트다. 애플 머신러닝 부문 수석 부사장 존 지안안드레는 지난 2020년 한 매체와 인터뷰에서 머신러닝의 중요성에 다음과 같이 강조했다. 

“머신러닝을 기반으로 한 새로운 경험은 무수히 많다. 언어 번역과 받아쓰기 기능, 수면 및 손 씻기 감지 기능, 심장 건강 관련 기능이 예다. 앞으로 iOS에서 머신러닝을 활용하지 않는 분야는 점점 줄어들 것이다.”

애플의 다양한 카메라 기술도 머신러닝을 활용한다. 예를 들어 인물 모드나 시네마틱 모드에서 사진과 동영상을 촬영한 후에도 편집할 수 있는 것은 머신러닝 덕분이다. 이런 기술은 모두 내년 출시될 애플 글래스에서도 활용될 것으로 보인다. 아직은 추측일 뿐이지만, 애플은 개발자에게 제공하는 머신러닝 API를 꾸준히 확장하고 있다. 다음 목록은 현재 애플 API가 포함하고 있는 기능이다. 모두 코어ML 호환 AI 모델로부터 발전된 형태다.
 
  • 사진 분류, 배경 분리, 유사성 감지 API
  • 사물 감지 및 추적
  • 궤도 및 윤곽 감지
  • 문자 감지 및 인식
  • 얼굴 인식, 추적, 등록, 캡처 품질
  • 사람 몸통 감지, 몸 혹은 손 동작 인식
  • 동물 인식(고양이, 강아지)
  • 바코드, 직사각형, 수평 감지 
  • 동영상 프레임간 사물 움직임 분석을 위한 광학 흐름
  • 사람 분할 인식
  • 문서 감지 
  • 감정 분석, 언어 인식 등 7가지 자연어 API
  • 대화 인식 및 소리 분류

애플은 머신러닝을 활용한 기능을 지속적으로 확장하고 있다. 개발자가 앱 경험을 확대하기 위해 활용할 수 있는 도구도 많다. 지난 4월 델타 항공은 AR 앱을 업무에 사용할 수 있도록 전 승무원에게 아이폰 1만 2,000대를 지급하기도 했다.

내년 AR 글래스 출시가 실현된다면, 이번에 지도 앱에서 선보인 기능은 AR 글래스에 대한 애플의 비전을 보여준 셈이다. 아이폰에 내장된 분석 도구를 이용해 애플이 기존에 확보한 지리적 위치 이미지와 사용자가 직접 촬영한 이미지를 비교할 수 있게 되면서 더 복잡한 머신러닝 기반 이미지 처리 기능도 개발할 수 있을 것이다.

데이터 크기가 클수록 AI가 좋은 결과를 도출하는 것은 누구나 아는 사실이다. 이것이 목적이라면 애플은 지도 앱으로 구현한 머신러닝 시스템의 정확성을 향상시키는 데 아이폰 사용자 10억 명의 데이터가 필요할 것이다. 앞으로 애플이 지도 앱의 데이터를 활용해 기능을 어떻게 발전시킬지 귀추가 주목된다. editor@itworld.co.kr


2021.09.28

iOS 15 지도 앱으로 보는 애플의 AR/ML 전략

Jonny Evans | Computerworld
애플이 지도 앱에서 증강현실(AR)을 이용한 도시 가이드 기능을 선보였다. 아이폰 카메라와 디스플레이를 사용해 사용자가 가고 있는 길을 3D로 표시하는 방식이다. 애플이 그리는 적극적인 AR 활용 계획 가운데 일부이기도 하다.
 
ⓒ Apple

AR 도시 가이드는 런던과 로스앤젤레스, 뉴욕, 샌프란시스코에서 사용할 수 있다. 애플은 지난 6월 세계 개발자 회의에서 iOS 15를 발표하면서 보행자 내비게이션 기능을 점차적으로 도입할 계획이라고 발표했다. 작동 방식은 다음과 같다.
 
  • 아이폰을 잡고 카메라 앱을 켠다.
  • 카메라 앱으로 주변 건물을 촬영한다.
  • 아이폰이 카메라 앱이 인식하고 있는 이미지를 분석해 사용자의 위치를 파악한다.
  • 지도를 생성해 사용자의 위치를 표시한 뒤 상세 이동 경로를 안내한다.

 
ⓒ Apple
행사에서 애플은 이 기능을 소개하기 위해 영국 본 스트리트역 이미지를 사용했다. 화면 속 커다란 화살표는 옥스포드 거리가 있는 오른쪽 방향을 가리키고 있었으며, 사진 하단에는 700미터 거리에 마블 아치역이 있다는 안내 문구가 있었다.

3D 내비게이션 기능은 애플이 그동안 보여준 것처럼, ‘작은 혁신’을 다양하게 활용하는 방법이다. 지도 앱에서는 뉴럴 엔진으로 작동하는 애플의 A 시리즈 프로세서다. 카메라가 촬영한 사물을 인식해 정확한 위치를 파악하기 위해서는 뉴럴 엔진이 활용하는 머신러닝 기능이 필수다. 이미지 분류와 정렬 API, 궤적 탐지 API, 문자 인식 및 검출, 수평 감지 API 등이 사용된다. 애플 기기에 내장된 위치 감지 기능과 데이터 맵핑, 기존 데이터베이스에 있는 길거리 사진을 바탕으로 목적지까지 가는 경로를 완벽에 가까울 정도로 정확하게 제공한다.

애플은 3D 내비게이션 기능 외에도 머신러닝을 활용한 다양한 기능을 이미 선보인 바 있다. 대표적인 것이 시네마틱 모드와 라이브 텍스트다. 애플 머신러닝 부문 수석 부사장 존 지안안드레는 지난 2020년 한 매체와 인터뷰에서 머신러닝의 중요성에 다음과 같이 강조했다. 

“머신러닝을 기반으로 한 새로운 경험은 무수히 많다. 언어 번역과 받아쓰기 기능, 수면 및 손 씻기 감지 기능, 심장 건강 관련 기능이 예다. 앞으로 iOS에서 머신러닝을 활용하지 않는 분야는 점점 줄어들 것이다.”

애플의 다양한 카메라 기술도 머신러닝을 활용한다. 예를 들어 인물 모드나 시네마틱 모드에서 사진과 동영상을 촬영한 후에도 편집할 수 있는 것은 머신러닝 덕분이다. 이런 기술은 모두 내년 출시될 애플 글래스에서도 활용될 것으로 보인다. 아직은 추측일 뿐이지만, 애플은 개발자에게 제공하는 머신러닝 API를 꾸준히 확장하고 있다. 다음 목록은 현재 애플 API가 포함하고 있는 기능이다. 모두 코어ML 호환 AI 모델로부터 발전된 형태다.
 
  • 사진 분류, 배경 분리, 유사성 감지 API
  • 사물 감지 및 추적
  • 궤도 및 윤곽 감지
  • 문자 감지 및 인식
  • 얼굴 인식, 추적, 등록, 캡처 품질
  • 사람 몸통 감지, 몸 혹은 손 동작 인식
  • 동물 인식(고양이, 강아지)
  • 바코드, 직사각형, 수평 감지 
  • 동영상 프레임간 사물 움직임 분석을 위한 광학 흐름
  • 사람 분할 인식
  • 문서 감지 
  • 감정 분석, 언어 인식 등 7가지 자연어 API
  • 대화 인식 및 소리 분류

애플은 머신러닝을 활용한 기능을 지속적으로 확장하고 있다. 개발자가 앱 경험을 확대하기 위해 활용할 수 있는 도구도 많다. 지난 4월 델타 항공은 AR 앱을 업무에 사용할 수 있도록 전 승무원에게 아이폰 1만 2,000대를 지급하기도 했다.

내년 AR 글래스 출시가 실현된다면, 이번에 지도 앱에서 선보인 기능은 AR 글래스에 대한 애플의 비전을 보여준 셈이다. 아이폰에 내장된 분석 도구를 이용해 애플이 기존에 확보한 지리적 위치 이미지와 사용자가 직접 촬영한 이미지를 비교할 수 있게 되면서 더 복잡한 머신러닝 기반 이미지 처리 기능도 개발할 수 있을 것이다.

데이터 크기가 클수록 AI가 좋은 결과를 도출하는 것은 누구나 아는 사실이다. 이것이 목적이라면 애플은 지도 앱으로 구현한 머신러닝 시스템의 정확성을 향상시키는 데 아이폰 사용자 10억 명의 데이터가 필요할 것이다. 앞으로 애플이 지도 앱의 데이터를 활용해 기능을 어떻게 발전시킬지 귀추가 주목된다. editor@itworld.co.kr


X