긴 잠복기를 깨고 가상 현실의 대중화를 위해 노력했던 수많은 개척자들이 있다. 현대적이면서 대중적인 가상 현실 헤드셋의 기본 형태와 룸 스케일 VR의 기초를 완성하고 차세대 가상 현실 기술을 연구하기까지 가상 현실이 바꾸게 될 미래의 가능성에 승부를 걸었던 선구자들이 없었다면 이렇게 빨리 진화하지 못했을 일이다.
특히 오큘러스를 인수한 이후 가상 현실 업계에서 가장 시끄럽고 말썽꾼에 가까운 페이스북은 가상 현실의 미래를 예상하며 관련된 기술을 가장 많이 연구하는 곳 중 하나다. 오큘러스 리프트의 대중화에 큰 역할을 했던 오큘러스의 1세대 창업자들이 모두 페이스북을 이런 저런 이유로 페이스북과 멀어졌음에도 페이스북은 컴퓨터 비전 분야의 과학자들과 연구자들을 오큘러스 리서치로 불러들여 차세대 가상 현실 시장에 필요한 기술을 개발 중이다. 페이스북은 이들의 연구 성과를 ‘오큘러스 커넥트’라는 개발자 행사에서 대중과 공유했는데, 지난 10월에 열린 오큘러스 커텍트 5에서 3년 전의 예측했던 기술 수준을 평가하고 앞으로 좀더 뒤로 미뤄진 기술에 대한 설명도 곁들였다.
2016년의 예측과 현재
거의 모든 오큘러스 커넥트 행사에서 가상 현실 기술과 관련된 예측과 동향을 이야기하는 이는 기술 작가 겸 수석 과학자 마이클 애브라시(Michale Abrash)다. 그는 첫 오큘러스 커넥트에서 가상 현실이 세상을 바꾼다는 이야기를 꺼냈다. 가상 현실의 장밋빛 미래를 생각하는 이들에게 매우 거창한 사회적 변혁을 주장하는 것을 예상할 테지만, 그는 이동 환경에서 쓰는 PC를 대체하는 개인 컴퓨팅에 대한 변화를 설명했다. 이는 가상 현실 같은 시각 컴퓨팅 기술들이 정보에 대한 수렴 및 상호 작용의 방식을 바꿔 창의적인 재능을 가진 이들이 전혀 다른 형태로 세상을 보고 창작하는 데 큰 힘이 될 것이라는 의미였다.
다만 이러한 의도를 실행하기 위해선 핵심이 되는 장치인 가상 현실 헤드셋에 고도의 기술을 접목해야 한다. 영화 <레디 플레이어 원>에서 나온 것처럼 아주 휴대가 쉬운 형태의 컴퓨팅 장치여야 하고 사람의 눈으로 구분하기 힘들 만큼 망막 디스플레이를 구현하며 신체를 컨트롤러로 활용할 수 있어야 한다. 문제는 이러한 가상 현실 헤드셋을 당장 만들어낼 기술이 아직 확보되지 않았기 때문에 단계적으로 목표를 설정하고 하나씩 해결해 나가는 것이 중요하다.
때문에 오큘러스는 2016년 오큘러스 커넥트 3에서 2021년에 가상 현실 헤드셋에서 완성할 몇 가지 기술적 목표를 제시했다. 4K X 4K 디스플레이와 각도당 30 픽셀 구현, 140도의 시야각(Field of View, FoV), 다중 심도 초점 등이다. 오큘러스 리프트가 상용화되었던 2016년에는 거의 구현되기 힘든 기술들로 채워졌다.
그렇다면 이 기술들은 현재 어느 수준에 있을까? 오큘러스는 사실 이 모든 조건에 맞는 가상 현실 헤드셋을 테스트 중이다. 오큘러스에서 하프돔(Half-Dome)이라 부르는 헤드셋 시제품은 이 모든 조건을 채우고 있기 때문이다. 상용화는 이른 단계지만, 2021년을 목표로 했던 기술적 과제를 이미 완수했다는 것은 그만큼 매우 빠르게 기술이 진화하고 있음을 의미한다.
2016년의 이 목표들이 중요했던 이유는 지금 가상 현실 헤드셋에서 나타나고 있는 문제부터 해결하려는 의도가 보여서다. 특히 4K 디스플레이와 시야각은 헤드셋의 크기를 줄이면서 픽셀과 픽셀 사이가 벌어지는 스크린 도어 효과를 차단하기 위한 것이었다. 사실 사람의 눈에 완벽하게 일치하려면 각도당 픽셀(Pixel Per Degree)을 사람 망막에 해당하는 60픽셀까지 끌어올려야 한다. 하지만 가상 현실 헤드셋용 소형 디스플레이의 픽셀 수가 많아도 렌즈의 시야각에 따라 각도당 픽셀이 줄어들기 때문에 스크린 도어 효과를 거의 느끼지 못할 수 있는 수준까지 줄이려면 디스플레이 해상도는 높이고 렌즈의 시야각은 적정한 선에서 타협해야 했던 것이다. 그나마 각도당 30픽셀까지 높인 것은 매우 진전된 부분으로, 현재 나와 있는 가장 완성도 높은 PC용 VR 헤드셋인 HTC 바이브 프로는 각도당 14 픽셀에 불과한 상황이다.
오큘러스가 제시한 140도의 시야각은 4K 디스플레이에서 각도당 픽셀을 높이기 위한 제한도 있지만, 프레넬 렌즈(Fresnel Lens)의 한계도 있다. 프레넬 렌즈는 렌즈에 미세한 홈을 여러 개 만들어 디스플레이로부터 나오는 빛을 모아서 눈으로 굴절시킨다. 렌즈를 매우 얇게 만들 수 있어 헤드셋의 무게를 줄일 수 있는 반면 렌즈와 디스플레이 사이의 초점 거리가 길고 디스플레이 해상도를 더 끌어올려도 효과가 적다는 한계가 있다. 오큘러스는 이미 이러한 렌즈의 한계치까지 이미 구현했다는 것이다.
다중 심도 초점은 가변초점(Varifocal)을 이용해 가상 현실의 몰입감을 높이는 초점 조절 기술이다. 지금 가상 현실 콘텐츠를 볼 때 대부분의 콘텐츠에서 공간감을 느낄 수 있어도 공간 안의 원근감은 거의 느낄 수 없는 한계가 있다. 콘텐츠 전 영역에 초점이 맞춰져 있는 상태이므로 만약 가상 현실에서 어떤 물건을 눈앞까지 가까이 가져오더라도 초점이 맞지 않는다. 가변초점은 이를 보완하는 기술로 물체에 따라 초점을 조절하는데, 오큘러스의 하프 돔은 콘텐츠의 접근에 따라 렌즈를 움직여 초점을 조절할 수 있는 기술까지 적용한 상태다.
4~5년 뒤로 미뤄진 기술들
2021년에 보게 될 것으로 예측했던 기술들이 현재 시점에서 앞당겨 실험하게 된 것은 예상을 뛰어넘는 속도다. 물론 실제 상용화까지는 완성도를 높이고 충분한 컴퓨팅 환경을 갖출 때까지 더 많은 시간이 필요하지만 하프 돔에 적용된 기술만 놓고 보면 상용화 이후 진일보한 가상 현실을 만날 수 있게 된다.
하지만 오큘러스 커넥트 3에서 예측한 것 가운데 모든 기술을 다 반영한 것은 아니다. 눈동자 추적과 포비티드 렌더링도 2016년에 예측한 기술 가운데 하나였지만, 오큘러스는 하프돔에 이 기술까지 적용하지 않았다. 서로 떼어 놓을 수 없을 정도로 밀접하게 연결된 두 기술은 이미 기술적으로 구현할 수 있는 수준에 올라와 있음에도 오큘러스는 두 기술을 다른 관점에서 접근하고 있다.
포비티드 렌더링은 사물을 볼 때 눈 중심부와 그 주변부의 선명도를 다르게 느끼는 것에 착안한 컴퓨터 그래픽 기법이다. 가상 현실에서 그래픽 전체를 선명하게 그려내면 그만큼 컴퓨터 자원을 많이 써야 하는 만큼 이를 처리할 강력한 그래픽 프로세서와 메모리 버퍼를 필요로 한다. 때문에 가상 현실 헤드셋을 위한 컴퓨팅 장치를 가볍게 만들려면 컴퓨팅 자원을 낭비하지 않는 효율적인 방법으로 렌더링해야 하고, 눈 중심부만 업스케일링으로 선명하게 그려내면서 크게 인식하지 않을 만큼 주변부의 해상도를 낮추는 포비티드 렌더링(Foveated Rendering)은 불가피하다.
그런데 저해상도로 렌더링한 그래픽에서 고해상도 그래픽으로 업스케일링 할 때 누락된 픽셀을 채우는 방법에 대해서 고민해야 한다. 컴퓨팅 자원의 소모를 줄이려면 효율적으로 픽셀을 채우는 방식을 찾아야 하는데, 오큘러스는 이 부분에서 기계 학습을 통해 생성된 픽셀로 세세한 부분을 채우는 새로운 방법을 제안하고 있다. 그러니까 일정한 패턴으로 픽셀을 제거한 뒤 기계 학습으로 그 패턴을 채우는 방법을 훈련시켜 저해상도에서 고해상도 업스케일링을 하는 방법이다. 이는 실제 렌더링된 그래픽과 다를 수 있어도 부분적으로 볼 때는 명확하게 그 차이를 알아채지 못하는 데다 원본 대비 1/20의 픽셀만 있어도 작동한다. 그래픽 자원의 소모를 크게 줄일 수 있는 이 방식은 앞으로 4년 안에 보게 될 것이라는 것이 오큘러스의 예측이다.
이러한 눈 중심부 렌더링을 위해선 눈 추적 기술이 필수다. 2년 전에는 거의 초보적인 눈 추적 기술로 매우 불편했으나, 지금은 여전히 위험을 안고 있기는 해도 상당히 편안한 수준으로 기술이 향상됐다. 오큘러스는 눈 추적 기술도 4년 안에 매우 높은 신뢰도를 갖게 될 것이고 상용 제품에 이를 적용하게 될 것이라고 말한다.
오큘러스는 2016년 가상 공간에서 소리에 대한 입체적인 모델링이 유연해질 것이라고 예측했지만, 이 부분은 현재에도 연구를 더 해야 할 것으로 보인다. 이미 2016년에서 머리전달함수 HRTF(Head Related Transfer Function)가 표준이 될 것이라고 했으나 이제서야 첫 데모를 만들었을 정도로 아직 실험실 수준에 머물러 있는 상황이다. HRTF는 동일한 소리를 전방위에서 발생시켜 방향에 따른 주파수 반응을 측정해 3차원 함수로 정리한 것이다. 우리가 일상에서 모든 방향의 소리를 듣는 것처럼 가상 현실 공간에서 들리는 소리도 똑같이 구현하는 기술이지만, 실제 스테레오 헤드폰 만으로 들으려면 좀더 시간을 두고 기다려야 할 듯하다.
손으로 터치하는 듯한 가상 현실 인터랙션도 2016년에 예측했던 것 중 하나지만, 지금도 연구 중인 부분이다. 이것은 이미 많은 기술 연구 사례도 있고 오큘러스도 이미 장갑을 낀 손을 추적하는 기술은 갖고 있다. 하지만 가상 현실과 상호 작용하는 것은 단순히 손을 움직여 가상의 물체를 잡거나 조작하는 게 아니라 가상 현실에서 물체를 잡거나 건드렸을 때 반응을 손으로 전달하느냐에 있다. 오큘러스는 이 부분에 진동 모터로 상황마다 적절한 반응을 주는 햅틱 피드백을 적용해 상호 작용을 시험하고 있다. 햅틱으로 가상의 객체와 상호 작용하는 것은 매우 강력한 경험을 제공할 수 있지만, 실제로 쓸 수 있기까지 훨씬 긴 시간이 필요한 상황이다.
오큘러스의 미래 : VR 바이저
오큘러스는 가상 현실의 미래를 휴대용 컴퓨터를 대체하는 개인 컴퓨팅의 진화로 방향을 잡고 관련 기술을 개발하고 있지만, 오늘 날의 두껍고 무거워 휴대하기 어려운 가상 현실 헤드셋으로는 그 목표에 다가설 수 없다는 사실을 알고 있다. 하지만 오큘러스는 가상 현실 헤드셋을 포기하고 다른 장치를 만들 계획은 갖고 있지 않다. 여전히 오큘러스는 가상 현실 헤드셋이 미래의 컴퓨팅 환경에 영향을 미칠 것이라는 점을 고려한 개발을 지속하고 있다.
오큘러스가 미래의 가상 현실 헤드셋의 미래로 예상하는 컨셉은 선을 연결하지 않고 사회적으로 받아들일 수 있는 바이저 형태다. 몰카 장치로 오해 받을 수 있는 위험성을 제거하기 전까지 여전히 잠재적 위협을 안고 있는 증강 현실 헤드셋과 마찬 가지 위험을 안고 있지만, 그 장벽을 넘을 수 있다면 가상 현실 바이저는 어느 곳에서나 컴퓨터 비전을 활용할 수 있는 여건을 만드는 데 적합한 도구로 쓸 수 있다.
이를 위해 오큘러스는 가상 현실 헤드셋의 기술이 아니라 일부 AR의 기술적 특성을 접목해야 한다고 말한다. 특히 프레넬 렌즈 대신 준비하고 있는 팬케이크 렌즈로 200도의 시야각과 디스플레이 해상도 제한을 뛰어 넘어 각도당 픽셀의 한계를 벗어난 VR 헤드셋의 개발 이후, AR용 디스플레이 기술인 웨이브가이드 디스플레이(Waveguides Display)를 결합해 더 작고 가벼워 휴대할 수 있는 오큘러스는 가상 현실 바이저 컨셉 디자인이 이를 뒷받침한다.
오큘러스가 AR 디스플레이를 넣은 AR 글래스 같은 증강 현실 장치를 만들지 여부는 확실하지 않다. AR 기술이나 VR은 반도체와 오디오, 디스플레이와 컴퓨터 비전으로 구성되고 일부 응용 프로그램을 제외하면 거의 동일한 앱과 개발 환경을 공유할 수밖에 없지만, 오큘러스는 가상 현실에 기반한 컴퓨터 비전의 활용 가능성에 더 무게를 두는 인상이 강하다. 임의의 그래픽을 현실에 섞는 증강현실과 달리 실제 공간을 스캐닝해 맵을 만들고 가상 현실 그래픽으로 재구축함으로써 이용자에게 전혀 다른 세계를 제공해 이용자가 원하는 자유롭고 환상적인 혼합 현실을 구축할 수 있기를 원하고 있다. 픽셀을 완벽하게 제어해 컴퓨터 비전의 완성도를 높일 수 있는 측면에서 VR 바이저가 더 강력하다는 것이다.
다만 VR 바이저와 AR 기술의 혼합은 아주 오랜 기간에 걸쳐 진행될 것이므로 지금 기대를 걸기에는 이르다. 그저 그 시대가 올 것에 대비해 필요한 컴퓨터 비전 기술을 연구하고 다듬고 있다. 흥미로운 것은 가상 현실의 컴퓨터 비전도 기계 학습을 활용해 더 정교해지고 있는 점이다. 특히 오큘러스는 이용자의 아바타 같은 가상 인간(Virtual Human)을 실존하는 사람과 가깝게 보이도록 기계 학습을 활용해 완성해 가는 중이다.
결국 오큘러스는 컴퓨터 비전의 완성도를 높이기 위해 픽셀을 완벽하게 제어할 수 있는 가상 현실에 더욱 집중하는 것을 선택했고, 그 예측했던 미래에 필요한 기술을 준비하는 중이다. 물론 컴퓨터 비전에 기반한 가상 현실의 내일이 어떻게 달라질지 예측할 수 없고 오큘러스의 예측대로 흘러간다는 보장은 없다. 다만 언제나 예측한 것보다 때로는 빠르게, 때로는 느리게 필요할 수 있는 기술에 대한 대비를 하고 있는 오큘러스는 누구보다 빠르게 그 기회를 잡을 가능성이 높다는 사실은 부인할 수 없다. 저 멀리 가상 현실의 미래를 내다보고 달려가는 기업을 누가 따라잡을 수 있을까?
#덧붙임
이 글은 KISA 리포트에 기고한 글로 편집본은 KISA 웹사이트에서 다운로드 할 수 있습니다.
very good. Writing. VR Thanks. I want to creat vr contents.