VR 전복 순간: 컨트롤러를 버리고 "무의미한 운전"에 들어가십시오.

예기치 않게 올 봄 VR 제조업체는 "한 쌍의 손"을 위해 롤업했습니다.

2022년 상반기에만 4개의 VR 거대 기업이 자체 VR 기기의 제스처 인터랙션 기술을 개선했습니다.

4월 20일, Meta의 VR 헤드셋 Oculus Quest 2 제스처 인터랙션 버전이 2.0으로 반복되어 손 위치 손실 문제가 해결되었습니다. 4월 13일, ByteDance가 소유한 VR 브랜드인 Pico는 두 개의 기업용 VR 헤드셋이 맞춤형 핸드 트래킹 액세서리를 통해 제스처 상호 작용 경험을 향상시킬 수 있다고 발표했습니다. VR 제조업체인 HTC도 올해 1월 사용자의 손 위치를 예측하는 데 도움이 되는 새로운 손목 추적기를 출시했습니다.

Hand Fast Tracking에서 Oculus Quest 2 Gesture Interaction 버전 1.0과 버전 2.0의 비교

맨손 인터랙션 기술이든 핸드 트래킹 액세서리이든 VR 장치의 제스처 인터랙션 기술은 지속적으로 반복되고 있습니다. 동시에 많은 VR 회사는 여전히 VR 장갑과 같은 새로운 제스처 상호 작용 방법을 찾으려고 노력하고 있습니다.

5월 6일, 네덜란드 VR 장갑 제조업체 Manus는 자기 추적 기술이 적용된 새로운 VR 장갑 Quantum Metagloves가 사전 판매를 시작했다고 발표했습니다. 지난 5월 4일 국내 모션캡처 기술 대기업 노이톰(Noitom)이 Hi5 2.0 VR 인터랙티브 글러브를 출시했다. Meta는 빠르면 2021년 11월에 자체 VR 촉각 장갑 모델을 선보이고 VR 제스처 상호 작용의 최신 성과를 공유했습니다.

왼쪽부터 Manus, Noitom, Meta의 VR 장갑

뿐만 아니라 Apple, Google 및 Microsoft와 같은 일부 잠재적 VR 플레이어는 스마트 링 과 관련된 여러 특허에 대한 승인을 받아 스마트 링을 차세대 제스처 상호 작용을 위한 핵심 입력 장치로 만들려고 합니다.

제스처 인터랙션 기술은 가장 기본 적이고 자연스러운 인터랙션 방식이며, VR 기기의 주류 인터랙션 방식 중 하나이기도 합니다. 일반적으로 제스처 상호 작용은 이미지 획득, 제스처 추적, 제스처 인식 및 분석과 같은 여러 프로세스를 포함하는 수학적 알고리즘을 통해 인간의 제스처를 인식하는 기술을 말합니다 .

그 중 핸드 트래킹과 제스처 인식은 제스처 상호 작용의 두 가지 핵심 단계입니다. 핸드 트래킹은 VR 헤드 마운트 디스플레이에서 사용자의 손 위치를 정확하게 찾는 것을 말하며, 각 손가락의 움직임을 정확하게 인식하고 다양한 형태의 손을 인식하는 것이 제스처 인식에 속합니다.

제스처 인터랙션 기술도 거대한 시장 공간을 숨긴다. 국제 시장 분석 회사인 Markets and Markets는 "제스처 인식 및 터치리스 인식" 시장이 2024년에 340억 달러 에 이를 것이라는 보고서를 발표했습니다.

VR 장치의 제스처 인터랙션 기술을 사용하는 새로운 방법은 무엇입니까? 제조업체가 가까운 미래에 자체 VR 장치의 제스처 상호 작용 기술을 업그레이드하는 이유는 무엇입니까? VR 기기용 제스처 인터랙션 기술의 발전은?

Nuitom CTO Dai Ruoli, Dream Blossom (iQiyi Smart) Shi Ming 기술 이사, HTC 기술 이사와 심도 있는 교류를 한 후 답을 찾기 위해 노력했습니다.

다른 모바일 장치에 비해 VR 장치의 제스처 인터랙션 기술은 더디게 발전했습니다. 예를 들어, 3dof에서 6dof로 거의 5년 동안 개발했지만 컨트롤러 상호 작용에서 맨손 상호 작용에 이르기까지 아직 초기 단계입니다. 기술의 지속적인 발전으로 많은 소비자용 VR 헤드셋에서 맨손 상호작용이 대중화되기 시작했습니다.

Meta는 2019년 제스처 상호 작용 버전 1.0을 출시했으며 맨손 상호 작용을 Oculus Quest VR 헤드셋에 도입하여 사용자가 가상 세계에서 손을 직접 보고 몇 가지 간단한 상호 작용을 수행할 수 있도록 했습니다. 2년 후, Oculus Quest 2에는 제스처 상호 작용 버전 2.0이 있습니다.

이 업그레이드는 주로 두 가지 문제를 해결합니다. 하나는 사용자의 손이 겹칠 때 손 추적이 어려운 문제를 해결하는 것입니다. Quest 2의 Gesture Interaction 1.0 버전에서는 사용자의 손이 서로를 막거나 겹치는 경우 시스템이 사용자의 제스처를 인식하기 어렵습니다. 두 번째는 사용자가 빠르게 손을 흔들면 시스템이 쉽게 손을 놓칠 수 있다는 것입니다. 이 두 가지 상황이 모두 발생하면 가상 세계에서 손이 갑자기 사라질 수 있습니다.

Quest 2 제스처 상호작용 버전 1.0과 버전 2.0 비교

이 두 가지 문제를 해결하는 방법에 대해 Meta는 발표에서 새 버전이 "재설계된 컴퓨터 비전 및 머신 러닝 방법"을 기반으로 핸드 트래킹의 성능 신뢰성을 향상시켰다고 설명했습니다. 그러나 버전 업데이트 이후 제스처 상호 작용 기능이 더 나은 경험을 제공하지만 시스템에도 명백한 지연이 있다는 많은 사용자 피드백을 보았습니다.

이 현상에 대해 Dai Ruoli 는 VR 헤드셋 자체의 처리 및 컴퓨팅 기능이 상대적으로 제한적인 반면 Meta는 컴퓨터 비전을 기반으로 데이터를 수집하고 컴퓨팅 리소스의 일부를 사용하여 사용자의 손 위치를 예측한다고 설명했습니다. 장착된 디스플레이는 더 큰 컴퓨팅 및 처리 압력을 가져오며 이는 "시스템 정지" 현상의 주요 원인이기도 합니다.

HTC도 올해 3월 새로운 손목 트래커 VIVE 손목 트래커를 출시했고, 지난해 말 자체 손 트래킹 버전을 업그레이드했다. HTC 공식 홈페이지에 따르면 사용자가 손목 트래커를 손목에 착용하면 손이 일정 시간 카메라 시야를 벗어나더라도 시스템이 고주파 IMU를 통해 손의 움직임을 예측할 수 있다. 손목 트래커의 데이터 및 운동학적 모델 모션 트랙.

HTC 담당자도 Zhishi와 함께 VIVE Focus 3 컨트롤러와 비교하여 VIVE 손목 트래커가 버튼, 촉각 입력 및 기타 구성 요소를 제거하여 배터리 크기를 줄이고 컨트롤러를 더 작고 가볍게 만들었다고 말했습니다. 보고서에 따르면 HTC의 손목 추적기는 VIVE Focus 3 컨트롤러보다 85% 더 작고 50% 더 가볍습니다.

VIVE 손목 추적기 손목 추적기

Meta의 맨손 상호작용 솔루션은 여전히 컴퓨터 비전을 기반으로 하지만 HTC의 맨손 상호작용 솔루션은 손목 추적기와 같은 주변 장치에 의존해야 합니다. 전자는 사용자가 맨손 상호작용의 재미를 빠르고 효과적으로 경험할 수 있도록 도와주고 후자는 관성 센서를 통해 제스처 상호작용의 정확성과 신뢰성을 어느 정도 향상시킨다. 다양한 애플리케이션 시나리오에 직면한 다양한 제조업체의 VR 장비 맨손 상호 작용 솔루션은 저마다 강조점이 있습니다.

그러나 맨손 상호 작용이 확실히 사람들에게 더 나은 경험을 가져다 줄까요? Dai Ruoli는 인터뷰에서 "기술이 아직 성숙하지 않은 시점에서 맨손 상호 작용과 같은 새로운 인간-컴퓨터 상호 작용 방법을 운영 체제에 내장하는 것은 사람들에게 과도한 기대를 줄 것입니다."라고 말했습니다.

그는 "조작 성공률과 촉각 피드백 측면에서 맨손 상호작용보다 손잡이가 훨씬 재미있고 정확하다"며 "인간-컴퓨터 상호작용 분야에서는 조작 정확도 80%, 조작 정확도 100% "라고 설명했다. 작동 정확도 사용자에게 제공되는 대화식 경험은 완전히 다릅니다.

Microsoft Asia Research Institute 네트워크 그래픽 그룹의 수석 연구원인 Tong Xin은 2017년 미디어와의 인터뷰에서 이를 확인했습니다. "핸들을 손에 쥐면 핸들은 입력 장치일 뿐만 아니라 출력 장치도 됩니다. 진동과 힘 피드백을 통해 출력 피드백을 줄 수 있습니다 . 공중에서 손을 흔들면 자신의 출력 채널. "

제한된 컴퓨팅 소비, 높은 학습 비용 및 낮은 작동 정확도는 VR 장치의 맨손 상호 작용 기술 개발을 방해하는 주요 원인입니다. 그러나 상호 작용 경험 측면에서 맨손 상호 작용은 VR 콘텐츠 제작자에게 더 많은 공간을 제공합니다 . 많은 VR 장치에서 맨손 상호 작용은 보조 제스처 상호 작용 방법으로 사용됩니다.

맨손 상호 작용으로 인한 몰입감과 VR 핸들이 제공하는 높은 정확도 사이의 균형을 찾기 위해 VR 제조업체는 또 다른 제스처 상호 작용 방법인 VR 장갑을 고안했습니다.

현재 VR장갑의 형태는 여러 가지가 있지만 대량생산 및 대규모 판매가 가능한 VR장갑은 주로 관성센서 와 벤딩센서를 기반으로 두 가지 형태로 나뉜다.

컴퓨터 비전 제스처 인터랙션 기반의 데이터 처리 방식과 달리 관성 센서 기반 VR 장갑은 센서를 통해 손의 위치 및 손가락 인터랙션에 대한 많은 양의 데이터를 수집하게 됩니다. 그러나 벤딩 센서 기반의 VR 장갑은 측정 정확도가 낮고, 높은 착용감 요구 사항으로 인해 웨어러블 기기의 편안함도 낮습니다.

Hi5 2.0 VR 인터랙티브 장갑을 먼저 체험해볼 수 있는 기회가 있었습니다. Hi5 2.0 VR 대화형 장갑 한 켤레에는 총 12개의 관성 센서가 있으며 각 손에는 6개의 무선 센서가 장착되어 다섯 손가락과 손등에 분산되어 있습니다. 동시에 슈트에는 컴퓨터나 VR 헤드셋에 연결해 데이터를 전송할 수 있는 데이터 트랜시버 도 장착된다.

Hi5 2.0 VR 대화형 장갑

센서를 켜고 센서를 설치하고 핸드 트래커를 고정하고 보정 인터페이스를 선택합니다 Hi5 2.0 VR 장갑의 보정 방법은 생각보다 복잡합니다 .

체험 중에 우리는 Hi5 2.0 VR 대화형 장갑이 더 정확한 제스처 인식 프로세스를 제공할 수 있음을 발견했습니다.예를 들어, 손의 위치와 제스처의 변화는 기본적으로 실시간으로 변화를 표시할 수 있습니다. 공식 웹 사이트에 따르면 장치의 자세 계산 프레임 속도가 180fps에서 500fps로 증가했으며 R&D 인력도 알고리즘을 통해 항자성 간섭을 어느 정도 개선했습니다.

Noitom R&D 직원이 Hi5 2.0 VR 대화형 장갑을 보정하고 있습니다.

또한 연구원들은 다양한 VR 장갑 디자인을 실험하고 있습니다.

2021년 11월, 메타는 7년된 VR 촉각장갑의 시제품을 발표했는데, 이 VR장갑은 모터를 마이크로 에어 밸브로 대체하고 복잡한 제어 시스템을 통해 손가락에 부풀릴 수 있는 기구를 조정해 현실적인 압력을 형성한다. . 일종의 터치.

메타 터치 장갑

네덜란드 VR 장갑 개발자 Manus의 Quantum Metaglods VR 장갑은 자기 추적 기술을 기반으로 합니다.

자연 환경에 의한 자기 간섭을 줄이고 추적 안정성을 확보하기 위해 알고리즘을 사용하는 노이톰의 솔루션과 달리, 자기 추적을 통한 제스처 상호 작용 솔루션은 두 개의 장치의 협력이 필요합니다. 동시에 VR 장갑에도 코일이 포함되어 있으며 두 코일 은 고주파 진동 방식으로 자기력선을 생성하고 두 자기력선은 서로 절단하여 손의 위치 변화를 얻습니다.

VR 장갑은 더 정확한 제스처 모션 캡처를 제공할 수 있지만 VR 장갑의 가격과 비용으로 인해 소수의 괴짜 플레이어와 상업 시장에서만 사용할 수 있습니다.

Meta 장갑의 시제품 가격은 약 5,000달러(약 33,400위안)인 반면, Manus의 Quantum Metagloods의 사전 판매 가격은 9,000달러(약 60,000위안)이며, Noitom의 Hi5 2.0 VR 대화형 장갑은 가격이 책정된 것으로 알려졌습니다. 9,800위안 인민폐.

왼쪽부터 Manus, Noitom, Meta의 VR 장갑

Meta는 VR 햅틱 장갑 개발 프로젝트를 "문샷"이라고 설명했습니다. "VR 햅틱 장갑 개발을 시작했을 때 우리는 사람들이 어디에서나 가상 세계를 경험할 수 있는 대량 생산되고 저렴한 소비자 장치를 만들고 싶었습니다." Meta의 프로젝트 리더는 "하지만 거의 불가능합니다."라고 말했습니다.

조사 중에 스테이션 B에서 UP 소유자가 만든 수제 VR 장갑이 많이 있음을 발견했습니다. 이 가격은 100위안에서 350위안이며 일부 VR 장갑에는 포스 피드백 기능도 있습니다. 우리는 이러한 자체 제작 VR 장갑을 일부 간단한 VR 게임에서 사용할 수 있고 잡고, 꼬집고, 뒤집는 것과 같은 간단한 제스처를 할 수 있지만 디스플레이 지연도 분명하고 일부 유령 장면이 자주 나타나는 것을 확인했습니다.

B 스테이션 UP 오너들이 직접 만든 VR장갑 만들기에 도전하다

VR 장갑의 엄청난 가격 격차에 직면하여 VR 장갑에 종사하는 업계 전문가는 B-end 시장을 위한 VR 장갑의 비용이 주로 R&D 투자, 부품 및 인적 자원 비용 이며 가격은 시장에 따라 결정된다고 분석했습니다. 수요. 이는 일반적인 VR 장갑을 만드는 비용이 높지 않을 수 있지만 상업적 시나리오에서 사용할 수 있고 정확한 정밀도를 제공하는 한 쌍의 VR 장갑을 만드는 데는 높은 비용이 필요하다는 것을 의미합니다.

VR 장갑은 VR 장비의 몰입감과 제스처 상호 작용의 정확성을 고려할 수 있지만 VR 장갑의 가격을 어떻게 낮추는지는 VR 장갑 개발에서 해결해야 할 어려운 문제가 될 것입니다.

알고리즘, 엔지니어링 및 인터랙션 디자인의 문제 극복

맨손 인터랙션과 VR 글러브 인터랙션의 두 가지 방법으로 볼 때 VR 장치용 제스처 인터랙션 기술의 개발은 지속적으로 업데이트되고 반복되고 있으며 이전에 직면했던 일부 어려움은 점차 해결책을 찾았습니다. 그러나 전반적으로 VR 기기의 제스처 인터랙션 기술에는 여전히 많은 어려움이 있습니다.

VR 컨트롤러를 버리고 새로운 제스처 상호 작용 방법을 채택하는 것을 방해하는 것은 무엇입니까? 국내 VR 헤드셋 어드벤처 시리즈의 연구 개발 인력이자 Dream Bloom(iQiyi Intelligence)의 기술 이사인 Shi Ming은 Zhishi와의 인터뷰에서 세 가지 주요 포인트를 제시했습니다.

첫 번째는 알고리즘 수준입니다. 현재 VR 장치에 사용되는 제스처 상호 작용 기술은 기본적으로 딥 러닝 기술을 채택하므로 연구 개발 프로세스는 많은 양의 비즈니스 장면 주석 데이터에 의존해야 합니다. 그러나 제스처 기반의 3D 데이터 획득 비용이 높고 데이터 품질 및 일관성을 보장하기 어렵습니다.

제스처 상호 작용을 위한 키포인트 인식

둘째, 제스처 상호 작용 기술은 엔지니어링 최적화 측면에서 더 복잡합니다. 제스처 인터랙션 기술은 우수한 모델을 전제로 하고, 작은 모델 추론과 추론을 해야 합니다. 추론 과정에서 연구원은 알고리즘의 정확성을 보장할 뿐만 아니라 데이터의 실시간 효율성도 보장해야 합니다.

마지막은 대화식 사용의 디자인입니다. VR 개발자는 제스처 인터랙션 관련 작업을 설계할 때 시각적 사각지대를 피하고 동시에 사용자에게 더 나은 인터랙티브 경험을 제공해야 합니다.

제스처 상호 작용의 디자인과 관련하여 Facebook Reality Labs의 전 디자이너인 Liu Xiaoyu도 인터뷰에서 제스처 상호 작용 기술은 사용 중에 가려지기 쉬우므로 제스처 상호 작용 동작을 설계할 때 사용자의 학습 비용을 고려해야 한다고 언급했습니다.

또한 Microsoft Asia Research Institute의 네트워크 그래픽 그룹 수석 연구원인 Tong Xin도 제스처 인식의 경우 기계가 입력 상태와 비입력 상태를 구분하기 어렵다고 언급했습니다. 키보드의 키 상호 작용 방식과 달리 손을 흔드는 것인지, 손을 흔드는 제스처를 취하는 것인지, 연주에 지쳤을 때 휴식을 취하기 위해 손을 흔드는 것인지 기계가 구분하기 어렵습니다.

일반적으로 VR 기기에 사용되는 제스처 인터랙션 기술은 전체적으로 크게 두 가지 어려움에 직면해 있다 . 한편으로는 어떤 제스처 인터랙션 방법이 몰입감, 정확성, 저비용을 고려할 수 있고 모든 VR 장치에 사용할 수 있는지. 한편, VR 기기의 기본 구성을 기반으로 이 기기에 가장 적합한 제스처 인터랙션 기능을 생성하는 방법은 다음과 같습니다.

맨손 상호 작용 기술이 더 높은 정확도를 달성하고 VR 장갑의 비용이 감소할 때까지 핸들은 여전히 VR 장치의 제스처 상호 작용을 위한 주류 솔루션 중 하나가 될 것이라고 예측할 수 있습니다.

현재 VR 기기를 위한 제스처 인터랙션은 기존의 핸들 인터랙션 방식과 점차 대세를 이루고 있는 맨손 인터랙션 방식, 아직은 소수 단계에 있는 외부 웨어러블 기기의 인터랙션 방식의 세 가지 방향으로 나뉜다. 그러나 이 세 가지 상호 작용 방식은 대체물이 아니라 공존할 수 있다는 점은 주목할 가치가 있습니다.

휴대폰과 컴퓨터의 급속한 발전 시대에 입력 및 터치 스크린 상호 작용 모드는 사람들에게 새로운 상호 작용 경험을 가져왔으며 제스처 상호 작용은 VR 장치 경험과 VR 콘텐츠 제작에 새로운 변화를 가져올 것입니다.

제스처 인터랙션의 기술 발전은 언제나 끝이 없겠지만, 시대가 남긴 제스처 인터랙션 기술은 결국 소수에 불과하다.