손 추적 중심 애플 리얼리티 프로의 불안한 홀로서기

애플이 일부 XR 전문 매체에 초대장을 보냈다는 사실은 WWDC 2023에서 XR 헤드셋인 리얼리티 프로(가칭)를 발표하는 확실한 근거 중 하나가 됐다. 더 이상 이를 뜬 소문으로 취급할 이유가 없어졌고, 지금까지 나왔던 여러 소문들을 기반으로 긍정적인 점과 부정적인 점을 예상을 해보는 것도 자연스러운 일이 됐다.

애플 리얼리티 프로와 관련된 여러 예측 가운데 한 가지 기대 반 걱정 반인 점은 컨트롤러와 관련된 문제다. 리얼리티 프로는 손 추적을 이용해 가상의 UI를 조작하는 방식으로 추정되고 있다. 즉, 헤드셋의 카메라와 라이다 같은 센서를 활용해 손가락 제스처를 인지하고 가상의 사물을 다룬다는 것이다.

손 추적과 관련 UI는 혼합 현실 헤드셋에서는 매우 자연스런 부분이다. 사실 혼합 현실에서 손으로 물리적 공간에 띄운 가상의 사물을 다루는 것은 손과 손가락 마디를 알아채고 두 손이 겹쳐 있을 때를 양손을 구분할 수 있어야 하는 등 매우 고도화된 조작 방식이다. 앞으로는 보기 어려운 마이크로소프트 홀로렌즈 시리즈도 손으로만 조작했던 혼합 현실 헤드셋 중 하나였다.

손 추적을 이용하는 애플 리얼리티 프로의 UI는 큰 문제는 아닐 것이다. 단지 손 추적만 있고 다른 컨트롤러가 없는 상황은 조금 우려되는 점이 있다. 지금까지 손 추적을 통한 제어 외에 단순 지휘봉과 골무 같은 독특한 컨트롤러를 실험했다는 소식 외에 다른 컨트롤러에 대한 소식이 없는 점이 걱정스럽다.

이는 현재 컨트롤러를 기반으로 만든 VR이나 MR 앱들과 호환성을 갖기 어려운 문제를 낳는다. 특히 애플 리얼리티 프로보다 앞서 출시된 대부분의 VR/MR 헤드셋들은 거의 비슷한 버튼 구조의 컨트롤러를 갖추고 있는데, 이는 업계가 애플리케이션 호환성을 위해 약속한 오픈XR(OpenXR) 규약을 따르고 있어서다.

오픈XR은 점차 늘어가는 VR 또는 AR 생태계에서 애플리케이션의 파편화를 최소화해 XR 생태계를 되도록 빨리 정착시키려는 표준화 노력의 하나였다. 즉, 서로 다른 VR이나 AR 헤드셋에서 다루는 콘텐츠가 좀더 쉽게 호환될 수 있도록 애플리케이션 표준을 만든 것이었다.

오픈XR 이전 가상 현실, 증강 현실용 장치와 개발 도구, 플랫폼 기업들은 모두 각각의 형식에 맞춰 하드웨어와 응용 프로그램을 개발했다. 서로 다른 하드웨어와 개발 환경이 존재하다보니 앱 개발사들은 여러 플랫폼과 하드웨어마다 제원을 맞춰야 하는 까닭에 개발 및 배포가 쉽지 않았다.

VR/AR 업계와 크로노스 그룹이 만나 2017년 초 출범한 오픈XR 워킹 그룹은 하드웨어와 응용 프로그램 사이의 애플리케이션 표준을 만들기로 했고 참여 기업을 늘리며 시그라프(SIGGRAPH) 2018에서 처음 시연을 거친 뒤 2019년 3월 잠정 사양을 공개했다. 2019년 오픈XR 1.0을 공표한 이후 엔진, 헤드셋 및 콘텐츠 제작자는 오픈XR의 구현을 목표로 제품 및 콘텐츠를 개발해 왔다. 이미 에픽 언리얼이나 유니티 같은 게임 엔진은 최신 엔진에도 오픈XR 플러그인을 제공하고 있고, 대부분의 헤드셋 제조사들도 오픈XR 기반 콘텐츠를 수행할 수 있는 환경을 구성하고 있다.

오픈XR이 애플리케이션 호환성을 높이기 위한 표준적인 개념을 도입하면서 컨트롤러 구성도 거의 표준화 되어 있다. 메타, 스팀, 바이브, 소니, 피코 등 각 헤드셋 제조사가 제공하는 컨트롤러의 형태나 작동 방식은 달라도, 스틱과 버튼의 수는 모두 같다. 때문에 이러한 표준을 따르는 앱들은 각 헤드셋 환경에 따라 컨트롤러 조작 방식을 바꿀 필요가 없다.

애플 리얼리티 프로에 업계 공통적인 컨트롤러에 대한 이야기가 없다는 것은 결과적으로 기존 애플리케이션과 호환성을 염두에 두지 않는 것이라는 예상을 할 수 있다. 각 버튼에 대응할 수단이 처음부터 없기 때문에 기존 컨트롤러 기반 XR 앱 개발자들은 새로운 방식으로 조작하도록 앱을 재설계해야 한다는 뜻이다. 무엇보다 대부분의 6 자유도(높낮이와 360도 회전, 앞뒤좌우 이동) 컨트롤러는 헤드셋과 함께 작동하도록 설계되고 시험하는 장치라는 점에서 당장 컨트롤러가 없다는 점은 앞으로도 기존 XR 앱의 호환성을 기대하기 어려울 것이라는 예상을 하는 게 어렵지 않은 것이다.

물론 혼합 현실 콘텐츠가 컨트롤러보다 손 추적에 더 초점을 두는 것은 틀렸다고 보긴 어렵다. 아마도 손으로 다룰 수 있는 UI를 갖춘 메타 퀘스트 2 및 퀘스트 프로용 혼합 현실 컨텐츠와 마이크로소프트가 더 이상 사업을 추진하지 않는 홀로렌즈용 혼합 현실 앱 가운데 일부는 애플 리얼리티 프로에서도 만나게 될 듯하다. 컨트롤러가 없어도 다룰 수 있는 콘텐츠가 전혀 없다는 이야기는 아니긴 하다.

그럼에도 불구하고 기존 XR 앱을 적용하기 쉽지 않은 생태계 상황은 애플에게 아주 좋은 방향이라고 볼 순 없다. 게임이나 사물 조작을 하는 상당수 콘텐츠는 컨트롤러의 높은 정확도를 활용할 뿐만 아니라 상대적 반응을 되돌려 주는 데 활용하고 있어서다. 즉,  가상 사물과 상호 작용에서 손 추적만으로 일어날 수 있는 인간적 오류를 컨트롤러가 보완할 뿐만 아니라 가상 공간에서 일어난 일이나 현상에 대해 컨트롤러의 햅틱 피드백으로 이용자에게 알려주는 상호 작용의 수단으로 컨트롤러가 쓰이고 있지만, 애플은 이를 완전히 무시하는 것처럼 보인다.

이런 상황에서 애플을 이해하기 딱 좋은 변명 중 하나를 꼽자면 손가락 터치 UI로 모바일 생태계를 바꿨던 아이폰 때처럼 독자적인 손 추적 컨트롤 생태계를 구축하겠다는 야심이라는 측면에서다. 이 부분이 너무 지나쳐서 욕심이라고 비판받을 수도 있지만, 기존 생태계를 끌어오지 않는 대신 아직 미숙한 손 추적 앱 생태계를 독보적으로 구축하는 것이 애플의 방향이라면 리얼리티 프로에 컨트롤러를 배제한 결정을 이해못할 바는 아니다.

그러나 결국 손 추적만으로 다양한 앱 환경을 만들어내는 시기가 언제냐는 것이 관건이다. 애플이야 당장 급하지 않을지 몰라도, 이용자에게 앱 환경은 언제나 중요한 문제라서다. 리얼리티 프로가 당장 터치 기반의 아이패드용 앱을 실행할 수 있는 만큼 실행할 앱이 없다는 이야기는 나오지 않겠지만, 그것이 리얼리티 프로를 만든 궁극의 목적은 아니다. 리얼리티 프로가 차세대 공간 컴퓨팅을 위한 헤드셋형 컴퓨터라는 것을 망각하지 않을 리얼리티 프로 이용자들의 참을성을 너무 오래 시험해선 안된다는 이야기다.

덧붙임 #

한국 시간으로 6월 6일 새벽에 진행된 WWDC 23에서 애플은 혼합 현실 헤드셋을 비전 프로(Vision Pro)라는 명칭으로 공식 확정했습니다.