진짜 손으로 만지는 가상 현실은 올까?

가상 현실 장치를 머리에 쓰면 실제 현실도 단절하게 된다. 가상 세계는 현실과 전혀 다른 새로운 공간에 만들기 때문에 VR 장치를 쓰기 직전에 봤던 모습이 사라지기 때문이다. 문제는 VR 장치를 쓰고 가상 세계에서 어떤 일을 하려면 가상 세계를 통제할 장치가 현실에 존재해야 한다는 점. 아무리 가상 세계를 잘 만들어도 그 세계를 통제할 방법이 없으면 의미가 줄어든다.

아직은 매트릭스와 같이 머릿 속 생각 만으로 가상 세계를 돌아다닐 수는 없는 것이 현실이다 보니 다른 방식으로 가상 세계와 상호작용을 시도해야 한다. 이 부분에서 가상 세계와 현실을 이어줄 방법이나 도구를 찾을 수밖에 없고 이를 감안한 새로운 도구들이 출현하고 있기도 한다. 하지만 아직은 과거의 인터페이스 장치가 가상 현실에 그대로 쓰이는 실정이다.

우리 주변에서 흔히 볼 수 있는 키보드와 마우스가 대표적인 장치 중 하나다. 모든 오큘러스 응용 프로그램이 그런 것은 아니지만, 대부분은 키보드와 마우스에 대응한다. 방향이나 시점은 머리에 쓴 오큘러스 장치를 통해서 할 수 있지만, 무기를 쏘기나 기능을 조작할 때는 키보드나 마우스 버튼을 조합한다. 키의 위치만 확인되면 가상 세계에서 다양한 기능을 조작할 수 있지만, VR 장치를 머리에 쓴 이후에는 앞을 분간하기 어렵고 실제 가상 현실에서 실제와 같은 느낌을 전달하는 데 매우 제한적이다.

비록 기어VR처럼 터치 패드를 내장해 보이지 않는 키보드와 마우스를 이용하는 단점을 개선했다고 해도, 가상 세계 안에서의 현실감을 떨어뜨리는 단점을 벗어나진 못한다. 게임 패드도 마찬 가지. 단순한 조작성을 가진 게임이나 응용 프로그램은 이같은 컨트롤러 만으로도 다룰 수 있고 방향 전환과 확대 축소, 무기를 쏘거나 기능을 작동하는 일이 가능해도, 이용자가 가상 세계 안에 들어 있다는 일체감을 주진 않는다.

가상 세계를 보고 있어도 그것이 실제와 다른 단절을 느끼는 것은 이용자의 몸이 가상 현실에 반영되지 않아서다. 이용자가 손으로 직접 만지거나 두 다리로 걸어야 하는 가상 세계에서 컨트롤러를 대신 쓰는 탓에 직접 경험을 주진 못하는 것이다. 때문에 오래 전 가상 현실을 연구하던 이들이 손에 장갑을 끼고 조작하던 것은 그 고민에 대한 다른 해결책을 내놓기도 했다. 다만 그런 장비를 이용하려면 개발자나 이용자 모두 그 비용을 쉽게 해결하기 어려운 문제였다. 적은 비용으로 이용자의 움직임을 가상 세계에 대입할 수 있는 장치가 없다면 가상 현실로 표현할 수 있는 범위도 더 적어질 수밖에 없는 셈이다.

그나마 다양한 센서와 소프트웨어의 발전으로 가상 현실과 상호 작용을 위한 장치가 속속 개발되고 있다는 점은 다행이다. 립모션(Leap Motion)은 원래 손가락의 움직임을 인지하도록 만든 데스크톱용 컨트롤 장치지만 지난 해 이 장치를 가상 현실 장치 앞에 꽂은 뒤 그 앞에 움직이는 손가락을 가상 현실에서 볼 수 있는 실험에 성공해 이를 응용 프로그램에 어떻게 적용할 수 있는지 연구 중이다. 미오(MYO)는 팔 근육의 움직임을 추적할 수 있도록 팔뚝에 채우는 독특한 웨어러블 장치지만, 이를 이용해 손가락의 움직임을 표현할 수 있다. 원래 손가락을 쓰지 못하는 이들을 위한 웨어러블 컨트롤러로 개발하던 제품이었는데, 손가락이나 손을 움직이거나 팔의 방향을 바꿀 때 달라지는 근육의 미세한 반응을 센서로 감지해 이를 다양한 장치를 조종할 수 있도록 만들었다.

여기에 키넥트 같은 방식도 있다. 카메라와 거리를 알아채는 센서를 이용해 이용자가 별도의 센서를 몸에 붙이지 않아도 그 움직임을 실시간으로 그려낼 수 있는 기술. 가상 현실 장치는 아니지만 홀로렌즈에 이와 비슷한 방법을 넣어 손을 증강 현실용 컨트롤러로 쓸 수 있도록 적용했다. 꼭 키넥트가 아니어도 인텔 리얼센스 3D 카메라와 같은 것을 접목하면 유사한 환경을 구현할 수 있을 듯하다.

이처럼 가상 현실의 상호 작용을 위한 컨트롤러와 가능성을 가진 기술이나 장치를 어렵지 않게 찾을 수는 있지만, 어느 것이 가상 현실에 적합할지 명확치는 않다. 하지만 분명한 한 가지는 이용자가 실제로 가상 현실 안으로 들어간 듯한 상호작용을 할 수 있는 인터페이스 없이는 가상 현실의 한계를 느끼는 이들이 많아질 것이라는 점이다. 지금도 가상 현실을 보며 새로움을 느끼는 이들이 많지만, 가상 현실을 오래 접한 이들은 현실과 가상 현실의 단절에서 이미 한계를 느끼고 있다.

덧붙임 #

이 글은 에코노베이션에 기고한 글로 원문과 다를 수 있음.