VR 破壊的瞬間: コントローラーを捨てて「無意味な運転」に入る

思いがけず、この春、VR メーカーが「一対の手」を求めて集まりました。

2022 年上半期だけでも、 VR 大手 4 社が自社の VR デバイスのジェスチャー インタラクション テクノロジーを改良しました。

4 月 20 日、Meta の VR ヘッドセット Oculus Quest 2 ジェスチャ インタラクション バージョンが 2.0 に更新され、手の位置が失われる問題が解決されました。 ByteDance が所有する VR ブランドである Pico は 4 月 13 日、同社の 2 つのエンタープライズ レベル VR ヘッドセットが、カスタマイズされたハンド トラッキング アクセサリを通じてジェスチャ インタラクション エクスペリエンスを強化できると発表しました。 VRメーカーのHTCも今年1月、ユーザーの手の位置の予測を支援する新しいリストトラッカーをリリースした。

Oculus Quest 2 ジェスチャー インタラクション バージョン 1.0 とバージョン 2.0 の比較 (手持ちの高速トラッキング)

素手インタラクション テクノロジであれ、ハンド トラッキング アクセサリであれ、VR デバイス向けのジェスチャ インタラクション テクノロジは常に反復されてきました。同時に、多くの VR 企業は、VR グローブなどの新しいジェスチャ インタラクション方法を模索し続けています。

オランダのVRグローブメーカーManusは5月6日、磁気トラッキング技術を搭載した新しいVRグローブ「Quantum Metagloves」の予約販売を開始したと発表した。国内モーションキャプチャ技術大手ノイトムは5月4日、「Hi5 2.0 VRインタラクティブグローブ」を発売した。 2021 年 11 月には、Meta が独自の VR 触覚グローブ モデルを披露し、VR ジェスチャ インタラクションにおける最新の成果を共有しました。

左から右へ、マヌス、ノイトム、メタのVRグローブ

それだけでなく、Apple、Google、Microsoftなどの潜在的なVRプレーヤーの一部も、スマートリングに関連する多数の特許を承認されており、スマートリングを次世代のジェスチャーインタラクションのためのキー入力デバイスにしようとしています。

ジェスチャー インタラクション テクノロジーは、最も基本的で自然なインタラクション手法であり、VR デバイスにおける主流のインタラクション手法の 1 つでもあります。一般に、ジェスチャ インタラクションとは、画像取得、ジェスチャ追跡、ジェスチャ認識および分析などの複数のプロセスを含む数学的アルゴリズムを通じて人間のジェスチャを認識する技術を指します。

その中でも、ハンド トラッキングとジェスチャ認識は、ジェスチャ インタラクションにおける 2 つの重要なステップです。ハンドトラッキングとは、VRヘッドマウントディスプレイ内でユーザーの手の位置を正確に把握することを指し、各指の動きを正確に認識し、さまざまな手の形状を認識する方法はジェスチャー認識に属します。

ジェスチャー インタラクション テクノロジーには、巨大な市場スペースも隠されています。国際的な市場分析会社であるマーケッツ・アンド・マーケッツは、「ジェスチャー認識およびタッチレス認識」の市場が2024年に340億ドルに達するとのレポートを発表した。

VR デバイスのジェスチャー インタラクション テクノロジを使用する新しい方法とは何ですか?メーカーが近い将来、自社の VR デバイスのジェスチャー インタラクション テクノロジーをアップグレードするのはなぜですか? VRデバイス向けのジェスチャーインタラクション技術の開発とは何ですか?

Nuitom CTO Dai Ruoli、Dream Blossom (iQiyi Smart) テクニカル ディレクター Shi Ming、HTC テクニカル ディレクターとの綿密なやりとりを経て、私たちはその答えを見つけようとしました。

他のモバイル デバイスと比較して、VR デバイスのジェスチャ インタラクション テクノロジはゆっくりと進歩しています。たとえば、3dof から 6dof までの開発に 5 年近くかかりましたが、ハンドル インタラクションから素手インタラクションまではまだ初期段階にあります。テクノロジーの継続的な進歩に伴い、多くの消費者向け VR ヘッドセットでも素手でのインタラクションが普及し始めています。

Meta は 2019 年にジェスチャー インタラクションのバージョン 1.0 をリリースし、Oculus Quest VR ヘッドセットに素手インタラクションを導入しました。これにより、ユーザーは仮想世界で自分の手を直接見て、簡単なインタラクティブな操作を実行できるようになります。 2 年を経て、Oculus Quest 2 にはジェスチャー インタラクション バージョン 2.0 が追加されました。

このアップグレードにより、主に 2 つの問題が解決されます。 1 つは、ユーザーの手が重なった場合に手の追跡が困難になるという問題を解決することです。 Quest 2 の Gesture Interaction 1.0 バージョンでは、ユーザーの手が互いに遮られたり重なったりすると、システムがユーザーのジェスチャを認識することが困難になります。 2 つ目は、ユーザーが手を素早く振ったときに、システムが手を簡単に見失ってしまう可能性があることです。これらの両方の状況が発生すると、仮想世界から手が突然消えることがあります。

Quest 2 ジェスチャ インタラクション バージョン 1.0 とバージョン 2.0 の比較

これら 2 つの問題をどのように解決するかについて、Meta は発表の中で、新バージョンでは「再設計されたコンピューター ビジョンと機械学習手法」に基づいてハンド トラッキングのパフォーマンスの信頼性が向上すると説明しました。しかし、バージョンアップ以降、ジェスチャーインタラクション機能の操作性は向上したものの、明らかに遅延があるというユーザーの声を多くいただいております。

この現象について、Dai Ruoli 氏は、 VR ヘッドセット自体の処理能力とコンピューティング能力は比較的限られているのに対し、Meta はコンピューター ビジョンに基づいてデータを取得し、コンピューティング リソースの一部を使用してユーザーの手の位置を予測すると説明しました。取り付けられたディスプレイはコンピューティングと処理の負荷を増大させますが、これが「システム フリーズ」現象の主な原因でもあります。

HTCはまた、今年3月に新しいリストトラッカー「VIVE Wrist Tracker」を発売し、昨年末には独自のハンドトラッキングバージョンをアップグレードした。 HTCの公式Webサイトの情報によると、ユーザーがリストトラッカーを手首に装着すると、手がカメラの視野から一定時間離れた場合でも、システムは高周波IMUを通じて手の動きを予測できます。リストトラッカーのデータと運動モデル、モーショントラック。

HTC の担当者はまた、VIVE Focus 3 コントローラーと比較して、VIVE リスト トラッカーはボタン、触覚入力、その他のコンポーネントを削除してバッテリーのサイズを削減し、コントローラーを小型軽量化したと Zhishi に共有しました。レポートによると、HTC のリスト トラッカーは、VIVE Focus 3 コントローラーよりも 85% 小さく、50% 軽量です。

VIVE リスト トラッカー リスト トラッカー

Meta の素手インタラクション ソリューションは依然としてコンピューター ビジョンに基づいているのに対し、HTC の素手インタラクション ソリューションはリスト トラッカーなどの周辺機器に依存する必要があることがわかります。前者は、ユーザーが素手でのインタラクションの楽しさを迅速かつ効果的に体験するのに役立ちます。一方、後者は、慣性センサーによってジェスチャ インタラクションの精度と信頼性をある程度向上させます。さまざまなアプリケーション シナリオに直面して、さまざまなメーカーの VR 機器の素手インタラクション ソリューションにはそれぞれの重点があります。

しかし、素手でのインタラクションは間違いなく人々により良い体験をもたらすのでしょうか? Dai Ruoli 氏はインタビューで、「テクノロジーがまだ成熟していない時点で、素手での対話など人間とコンピューターの新しい対話方法をオペレーティング システムに組み込むことは、人々に過剰な期待を与えることになるでしょう」と述べました。

「操作の成功率と触覚フィードバックの点で、ハンドルは素手での操作よりもはるかに楽しく正確です。」と氏は、人間とコンピューターのインタラクションの分野では、操作精度は 80%、操作精度は 100% であると説明しました。操作精度 ユーザーにもたらすインタラクティブな体験は全く違います。

マイクロソフト アジア研究所ネットワーク グラフィックス グループの主任研究員である Tong Xin 氏は、2017 年のメディアとのインタビューでこれを認めました。 「ハンドルを手に持ったとき、ハンドルは入力デバイスであるだけでなく、出力デバイスでもあります。振動と力のフィードバックを通じて出力のフィードバックを与えることができます。手を空中に振ると、私は自分の手を失います。」出力チャンネル。 」

限られたコンピューティング消費量、高い学習コスト、低い操作精度が、VR デバイス用の素手インタラクション技術の開発を妨げる主な理由です。しかし、インタラクティブな体験という点では、素手でのインタラクションは、VR コンテンツ制作者にとってより多くの遊びの余地も提供します。多くの VR デバイスでは、補助的なジェスチャ インタラクション方法として素手インタラクションが使用されます。

素手のインタラクションによってもたらされる没入感と VR ハンドルによって提供される高精度の間のバランスを見つけるために、VR メーカーはジェスチャ インタラクションの別の方法である VR グローブを考案しました。

現在、VR グローブにはさまざまな形式がありますが、大規模に量産および販売できる VR グローブは、主に慣性センサーと曲げセンサーに基づいた 2 つのタイプに分類されます。

コンピューター ビジョンのジェスチャ インタラクションに基づくデータ処理方法とは異なり、慣性センサーに基づく VR グローブは、センサーを通じて手の位置と指のインタラクションに関する大量のデータを収集します。しかし、曲げセンサーを利用したVRグローブは測定精度が低く、フィット感への要求が高いためウェアラブルデバイスの快適性も低い。

Hi5 2.0 VR インタラクティブ グローブを初めて体験する機会がありました。 Hi5 2.0 VR インタラクティブ グローブには合計12 個の慣性センサーがあり、各手に 6 個のワイヤレス センサーが装着されており、5 本の指と手の甲に配置されています。同時に、スーツにはデータトランシーバーも装備され、コンピューターまたはVRヘッドセットに接続してデータを送信できます。

Hi5 2.0 VR インタラクティブ グローブ

センサーの電源を入れ、センサーを取り付け、ハンドトラッカーを固定し、キャリブレーションインターフェイスを選択する Hi5 2.0 VR グローブのキャリブレーション方法は想像よりも複雑です。

体験中に、Hi5 2.0 VR インタラクティブ グローブは、手の位置やジェスチャーの変化を基本的にリアルタイムで表示できるなど、より正確なジェスチャー認識プロセスを提供できることがわかりました。公式ウェブサイトによると、デバイスの姿勢計算フレームレートは 180fps から 500fps に増加し、研究開発担当者はアルゴリズムを通じてある程度の耐磁気干渉性も改善しました。

Noitom の研究開発担当者が Hi5 2.0 VR インタラクティブ グローブを調整中

さらに、研究者たちはさまざまな VR グローブのデザインも実験しています。

2021 年 11 月、Meta は 7 年前の VR 触覚グローブのプロトタイプを発表しました。この VR グローブはモーターをマイクロエアバルブに置き換え、複雑な制御システムを通じて指の膨張可能な器具を調整して現実的な圧力を形成します. 一種のタッチ。

メタタッチグローブ

オランダの VR グローブ開発者 Manus の Quantum Metagloods VR グローブは、磁気追跡技術に基づいています。

自然環境による磁気干渉を軽減し、追跡の安定性を確保するアルゴリズムを使用するノイトムのソリューションとは異なり、磁気追跡によるジェスチャ インタラクション ソリューションは、xyz と at の 3 方向にコイルを備えた 2 つのデバイスの連携が必要です。同時にVRグローブにもコイルが内蔵されており、2つのコイルが高周波振動で磁力線を発生させ、2つの磁力線が互いに切断することで手の位置の変化を取得します。

VR グローブはより正確なジェスチャ モーション キャプチャを提供できますが、VR グローブの価格とコストにより、VR グローブは少数のオタク プレイヤーと商業市場でのみ使用できることが決まります。

Metaグローブの試作コストは約5,000米ドル(約3万3,400元)であると報告されているが、ManusのQuantum Metagloodsの先行販売価格は9,000米ドル(約6万元)であり、NoitomのHi5 2.0 VRインタラクティブグローブの価格は9,000米ドル(約6万元)である。 9,800人民元。

左から右へ、マヌス、ノイトム、メタのVRグローブ

メタ氏は、VR触覚グローブの開発プロジェクトを「ムーンショット」と表現した。 「VR触覚グローブの開発を始めたとき、人々がどこでも仮想世界を体験できる、手頃な価格の消費者向けデバイスを量産して作りたいと考えていました。しかし、それはほぼ不可能です。」とMetaのプロジェクトリーダーは語った。

調査の過程で、ステーション B には UP 所有者が作った手作りの VR グローブが多数あることもわかりました。価格は 100 元から 350 元まであり、フォース フィードバック機能を備えた VR グローブもあります。これらの自作 VR グローブはいくつかの簡単な VR ゲームで使用でき、握る、つまむ、弾くなどの簡単なジェスチャを実行できることがわかりましたが、表示の遅延も明らかで、いくつかのゴースト シーンが頻繁に表示されます。

BステーションUPオーナーが手作りVRグローブを作ってみた

VR グローブの大きな価格差に直面して、VR グローブに携わる業界の専門家は、B エンド市場向けの VR グローブのコストは主に研究開発投資、部品費、人件費であり、価格は市場に応じて決定されると分析しました。要求。つまり、通常の VR グローブの作成価格はそれほど高くないかもしれませんが、商用シナリオで使用でき、正確な精度を提供する VR グローブを作成するには、高いコストが必要になります。

VRグローブはVR機器の没入感やジェスチャーインタラクションの精度を考慮することができますが、VRグローブの価格をいかに下げるかはVRグローブの開発において解決しなければならない難しい問題となります。

アルゴリズム、エンジニアリング、インタラクションデザインの問題を克服するには

素手インタラクションと VR グローブ インタラクションの 2 つの方法から判断すると、VR デバイス用のジェスチャ インタラクション テクノロジーの開発は常に更新され、反復されており、以前に直面したいくつかの困難は徐々に解決策を見つけています。しかし全体として、VR デバイス向けのジェスチャー インタラクション技術には依然として多くの困難があります。

VR コントローラーを捨てて新しいジェスチャー インタラクション方法を採用することを妨げているのは何でしょうか?国内 VR ヘッドセット アドベンチャー シリーズの研究開発担当者であり、Dream Bloom (iQiyi Intelligence) のテクニカル ディレクターである Shi Ming 氏は、Zhishi のインタビューで主なポイントを 3 つ挙げました。

1 つ目はアルゴリズムのレベルです。現在、VRデバイスに利用されているジェスチャーインタラクション技術は基本的にディープラーニング技術を採用しているため、研究開発プロセスではビジネスシーンにおける大量のアノテーションデータに依存する必要があります。しかし、ジェスチャーに基づく3Dデータの取得にはコストがかかり、データの品質や一貫性を確保することが困難です。

ジェスチャー操作のためのキーポイント認識

第 2 に、ジェスチャ インタラクション テクノロジは、エンジニアリングの最適化という点でより複雑です。ジェスチャインタラクション技術は前提として優れたモデルを必要とし、小さなモデルの推論と演繹を行う必要があります。推論プロセスでは、研究者はアルゴリズムの精度を確保するだけでなく、データのリアルタイム効率も確保する必要があります。

最後はインタラクティブな使い方のデザインです。 VR 開発者は、ジェスチャ インタラクション関連の操作を設計する際に視覚的な死角を回避し、同時にユーザーにより良いインタラクティブ エクスペリエンスを提供する必要があります。

ジェスチャーインタラクションのデザインに関しては、Facebook Reality Labsの元デザイナーであるLiu Xiaoyu氏もインタビューで、ジェスチャーインタラクション技術は使用中にオクルージョンが発生しやすいため、ジェスチャーインタラクションアクションを設計する際にはユーザーの学習コストを考慮する必要があると述べています。

さらに、マイクロソフトアジア研究所ネットワークグラフィックスグループの主任研究員であるTong Xin氏は、ジェスチャー認識については、機械が入力状態と非入力状態を区別するのが難しいことにも言及しました。キーボードのキー操作とは異なり、ユーザーが手を振っているのか、手を振るジェスチャーをしているのか、あるいは演奏に疲れて手を振って休憩したいのかを機械が区別することは困難です。

一般的に、 VR デバイスに使用されるジェスチャ インタラクション技術は、全体として主に 2 つの問題に直面しています。一方で、どのジェスチャ インタラクション方法が没入感、精度、低コストを考慮でき、すべての VR デバイスに使用できるかが決まります。一方で、VRデバイスの基本構成を踏まえて、このデバイスに最適なジェスチャーインタラクション機能をどのように作成するか。

素手インタラクション技術がより高い精度を達成し、VR グローブのコストが下がるまで、ハンドルは依然として VR デバイスのジェスチャ インタラクションの主流ソリューションの 1 つであることが予測されます。

現在、VR デバイスのジェスチャ インタラクションは、既存のハンドル インタラクション方式、徐々に主流になりつつある素手インタラクション方式、そしてまだ少数派である外部ウェアラブル デバイスのインタラクション方式の 3 つの方向に分かれています。ただし、これら 3 つの相互作用モードは代替ではなく、共存できることに注意してください。

携帯電話とコンピュータの急速な発展の時代において、タイピングとタッチ スクリーンのインタラクション モードは両方とも人々に新しいインタラクティブ体験をもたらしましたが、ジェスチャー インタラクションも VR デバイス エクスペリエンスと VR コンテンツ制作に新たな変化をもたらすでしょう。

ジェスチャーインタラクションの技術開発には無限の方向性がありますが、時代に取り残されたジェスチャーインタラクション技術は結局のところ少数派であり、VRデバイスで使われるジェスチャーインタラクション技術がどのように進化していくかは、時間が解決してくれるかもしれません。