Momen subversif VR: Buang pengontrol dan masukkan "mengemudi yang tidak masuk akal"

Tanpa diduga, pabrikan VR musim semi ini menggulung "sepasang tangan".

Pada paruh pertama tahun 2022 saja, empat raksasa VR telah meningkatkan teknologi interaksi gerakan dari perangkat VR mereka sendiri.

Pada tanggal 20 April, headset VR Meta Oculus Quest 2 versi interaksi gerakan diulang ke 2.0, yang memecahkan masalah kehilangan posisi tangan. Pada 13 April, Pico, merek VR milik ByteDance, mengumumkan bahwa dua headset VR tingkat perusahaannya dapat meningkatkan pengalaman interaksi gerakan melalui aksesori pelacakan tangan yang dapat disesuaikan. Pabrikan VR HTC juga merilis pelacak pergelangan tangan baru pada Januari tahun ini untuk membantu memprediksi posisi tangan pengguna.

Perbandingan Oculus Quest 2 Gesture Interaction Versi 1.0 dan Versi 2.0 pada Hand Fast Tracking

Baik itu teknologi interaksi tangan kosong atau aksesori pelacakan tangan, teknologi interaksi gerakan untuk perangkat VR terus-menerus diulang. Di saat yang sama, banyak perusahaan VR masih mencoba menemukan metode interaksi gestur baru, seperti sarung tangan VR.

Pada tanggal 6 Mei, produsen sarung tangan VR Belanda Manus mengumumkan bahwa sarung tangan VR baru Quantum Metagloves dengan teknologi pelacakan magnetik telah mulai dijual. Pada tanggal 4 Mei, raksasa teknologi motion capture domestik Noitom merilis sarung tangan interaktif Hi5 2.0 VR. Pada November 2021, Meta menunjukkan model sarung tangan taktil VR-nya sendiri dan membagikan pencapaian terbarunya dalam interaksi gerakan VR.

Dari kiri ke kanan adalah sarung tangan VR dari Manus, Noitom dan Meta

Tidak hanya itu, beberapa pemain VR potensial seperti Apple, Google, dan Microsoft juga telah disetujui untuk sejumlah paten terkait cincin pintar , mencoba menjadikan cincin pintar sebagai perangkat input utama untuk interaksi gerakan generasi berikutnya.

Teknologi interaksi gestur adalah metode interaksi paling dasar dan alami , dan juga merupakan salah satu metode interaksi utama dalam perangkat VR. Secara umum, interaksi gestur mengacu pada teknologi pengenalan gestur manusia melalui algoritme matematika , termasuk berbagai proses seperti akuisisi gambar, pelacakan gestur, pengenalan gestur, dan analisis.

Diantaranya, pelacakan tangan dan pengenalan gerakan adalah dua langkah kunci dalam interaksi gerakan. Pelacakan tangan mengacu pada menemukan secara akurat posisi tangan pengguna di layar yang dipasang di kepala VR, dan cara mengenali gerakan setiap jari secara akurat dan mengenali berbagai bentuk tangan yang termasuk dalam pengenalan gerakan.

Teknologi interaksi gestur juga menyembunyikan ruang pasar yang sangat besar. Markets and Markets, sebuah perusahaan analisis pasar internasional, menerbitkan sebuah laporan yang menyatakan bahwa pasar untuk "pengenalan isyarat dan persepsi tanpa sentuhan" akan mencapai $34 miliar pada tahun 2024.

Apa cara baru menggunakan teknologi interaksi gerakan perangkat VR? Mengapa pabrikan meningkatkan teknologi interaksi gerakan perangkat VR mereka sendiri dalam waktu dekat? Apa perkembangan teknologi interaksi gerakan untuk perangkat VR?

Setelah diskusi mendalam dengan CTO Nuitom Dai Ruoli, direktur teknis Dream Blossom (iQiyi Smart) Shi Ming, dan direktur teknis HTC, kami mencoba menemukan jawabannya.

Dibandingkan dengan perangkat seluler lainnya, teknologi interaksi gerakan untuk perangkat VR mengalami kemajuan yang lambat . Misalnya, setelah hampir lima tahun pengembangan dari 3dof ke 6dof, masih dalam tahap awal dari interaksi pengontrol hingga interaksi tangan kosong. Dengan kemajuan teknologi yang berkelanjutan, interaksi tangan kosong juga mulai populer di banyak headset VR tingkat konsumen.

Meta merilis interaksi gerakan versi 1.0 pada tahun 2019, dan memperkenalkan interaksi tangan kosong ke dalam headset Oculus Quest VR, yang memungkinkan pengguna melihat tangan mereka secara langsung di dunia maya dan melakukan beberapa operasi interaktif sederhana. Setelah 2 tahun, Oculus Quest 2 memiliki interaksi gerakan versi 2.0.

Upgrade ini terutama memecahkan dua masalah. Salah satunya adalah untuk mengatasi masalah pelacakan tangan yang sulit saat tangan pengguna tumpang tindih. Dalam versi Interaksi Gerakan 1.0 Quest 2, saat tangan pengguna saling menghalangi atau tumpang tindih, sulit bagi sistem untuk mengenali gerakan pengguna. Yang kedua adalah ketika pengguna melambaikan tangannya dengan cepat, sistem dapat dengan mudah kehilangan jejak tangan. Terjadinya kedua situasi ini dapat menyebabkan tangan tiba-tiba menghilang dari dunia maya.

Interaksi gerakan Quest 2 versi 1.0 dan perbandingan versi 2.0

Adapun bagaimana mengatasi dua masalah ini, Meta menjelaskan dalam pengumumannya bahwa versi baru meningkatkan keandalan kinerja pelacakan tangan berdasarkan "visi komputer yang didesain ulang dan metode pembelajaran mesin" . Namun, sejak pembaruan versi, kami telah melihat banyak umpan balik pengguna bahwa meskipun fungsi interaksi gerakan memiliki pengalaman yang lebih baik, sistem juga memiliki kelambatan yang jelas.

Terkait fenomena tersebut, Dai Ruoli menjelaskan bahwa kemampuan pemrosesan dan komputasi dari headset VR sendiri relatif terbatas , sedangkan Meta memperoleh data berdasarkan visi komputer dan menggunakan sebagian sumber daya komputasi untuk memprediksi posisi tangan pengguna. tampilan yang dipasang membawa tekanan komputasi dan pemrosesan yang lebih besar , yang juga merupakan alasan utama untuk fenomena "pembekuan sistem".

HTC juga meluncurkan pelacak pergelangan tangan baru VIVE Wrist Tracker pada bulan Maret tahun ini, dan meningkatkan versi pelacakan tangannya sendiri pada akhir tahun lalu. Menurut informasi di situs web resmi HTC, saat pengguna memakai pelacak pergelangan tangan di pergelangan tangan, meskipun tangan meninggalkan bidang pandang kamera untuk jangka waktu tertentu, sistem dapat memprediksi pergerakan tangan melalui IMU frekuensi tinggi. data dan model kinematik dari pelacak pergelangan tangan, trek gerak.

Orang terkait yang bertanggung jawab atas HTC juga berbagi dengan Zhishi bahwa dibandingkan dengan pengontrol VIVE Focus 3, VIVE Wrist Tracker melepas tombol, input taktil, dan komponen lain untuk mengurangi ukuran baterai dan membuat pengontrol lebih kecil dan lebih ringan. Menurut laporan, pelacak pergelangan tangan HTC 85% lebih kecil dan 50% lebih ringan dari pengontrol VIVE Focus 3.

Pelacak pergelangan tangan VIVE Wrist Tracker

Kita dapat melihat bahwa solusi interaksi tangan kosong Meta masih berbasis visi komputer, sementara solusi interaksi tangan kosong HTC perlu mengandalkan periferal seperti pelacak pergelangan tangan. Yang pertama dapat membantu pengguna dengan cepat dan efektif mengalami kesenangan interaksi tangan kosong , sementara yang terakhir meningkatkan akurasi dan keandalan interaksi gerakan sampai batas tertentu melalui sensor inersia. Menghadapi skenario aplikasi yang berbeda, solusi interaksi tangan kosong dari peralatan VR dari produsen yang berbeda memiliki penekanannya sendiri.

Tetapi apakah interaksi tangan kosong pasti akan memberi orang pengalaman yang lebih baik? Dai Ruoli mengatakan dalam sebuah wawancara: "Pada saat teknologi belum mencapai kematangan, menanamkan metode interaksi manusia-komputer yang baru seperti interaksi tangan kosong ke dalam sistem operasi akan memberi orang ekspektasi yang berlebihan."

"Dalam hal tingkat keberhasilan operasi dan umpan balik taktil, pegangannya jauh lebih menyenangkan dan akurat daripada interaksi tangan kosong." Dia menjelaskan bahwa di bidang interaksi manusia-komputer, 80% akurasi operasi dan 100% akurasi operasi. akurasi operasi Pengalaman interaktif yang dibawa ke pengguna benar-benar berbeda.

Tong Xin, kepala peneliti dari Network Graphics Group dari Microsoft Asia Research Institute, mengonfirmasi hal ini dalam sebuah wawancara dengan media pada tahun 2017. "Ketika saya memegang pegangan di tangan saya, pegangan tidak hanya perangkat input, tetapi juga perangkat output. Itu dapat memberi saya umpan balik keluaran melalui getaran dan umpan balik kekuatan. Ketika saya melambaikan tangan saya di udara, saya kehilangan milik saya sendiri saluran keluaran. "

Konsumsi komputasi yang terbatas, biaya pembelajaran yang tinggi, dan akurasi operasional yang rendah menjadi alasan utama yang menghambat pengembangan teknologi interaksi tangan kosong untuk perangkat VR. Namun dalam hal pengalaman interaktif, interaksi tangan kosong juga akan memberikan lebih banyak ruang bagi produsen konten VR untuk bermain . Di banyak perangkat VR, interaksi tangan kosong digunakan sebagai metode interaksi gerakan tambahan.

Untuk menemukan keseimbangan antara pencelupan yang dibawa oleh interaksi tangan kosong dan akurasi tinggi yang disediakan oleh pegangan VR, produsen VR telah menemukan cara lain untuk berinteraksi dengan sarung tangan VR.

Saat ini, ada banyak bentuk sarung tangan VR, namun sarung tangan VR yang dapat diproduksi secara massal dan dijual dalam skala besar terutama dibagi menjadi dua jenis berdasarkan sensor inersia dan sensor tekuk .

Berbeda dari metode pemrosesan data berdasarkan interaksi gerakan visi komputer, sarung tangan VR berdasarkan sensor inersia akan mengumpulkan sejumlah besar data tentang posisi tangan dan interaksi jari melalui sensor. Namun, sarung tangan VR berdasarkan sensor tekukan memiliki akurasi pengukuran yang rendah, dan karena tingginya persyaratan untuk kesesuaian, kenyamanan perangkat yang dapat dipakai juga rendah.

Kami memiliki kesempatan untuk mencoba sarung tangan interaktif Hi5 2.0 VR terlebih dahulu. Sepasang sarung tangan interaktif Hi5 2.0 VR memiliki total 12 sensor inersia , dan masing-masing tangan memakai enam sensor nirkabel, yang tersebar di lima jari dan punggung tangan. Pada saat yang sama, pakaian tersebut juga akan dilengkapi dengan transceiver data , yang dapat dicolokkan ke komputer atau headset VR untuk mengirimkan data.

Sarung Tangan Interaktif Hi5 2.0 VR

Nyalakan sensor, pasang sensor, perbaiki pelacak tangan, dan pilih antarmuka kalibrasi.Metode kalibrasi sarung tangan Hi5 2.0 VR lebih rumit dari yang kita bayangkan.

Selama pengalaman, kami menemukan bahwa sarung tangan interaktif Hi5 2.0 VR dapat memberikan proses pengenalan gerakan yang lebih akurat, misalnya posisi tangan dan perubahan gerakan pada dasarnya dapat menampilkan perubahan secara real time. Menurut situs web resminya, frame rate perhitungan sikap perangkat telah ditingkatkan dari 180fps menjadi 500fps, dan personel R&D juga telah meningkatkan tingkat gangguan anti-magnetik tertentu melalui algoritme.

Personil R&D Noitom sedang mengkalibrasi sarung tangan interaktif Hi5 2.0 VR

Selain itu, peneliti juga bereksperimen dengan berbagai desain sarung tangan VR.

Pada November 2021, Meta mengumumkan prototipe sarung tangan taktil VR berusia 7 tahun. Sarung tangan VR ini menggantikan motor dengan katup mikro-udara, dan menyesuaikan instrumen tiup di jari melalui sistem kontrol yang rumit untuk membentuk tekanan yang realistis .jenis sentuhan.

Sarung Tangan Sentuhan Meta

Sarung tangan VR Quantum Metagloods dari pengembang sarung tangan VR Belanda Manus didasarkan pada teknologi pelacakan magnetik.

Berbeda dengan solusi Noitom yang menggunakan algoritme untuk mengurangi interferensi magnetik yang disebabkan oleh lingkungan alam dan memastikan stabilitas pelacakan, solusi interaksi gerakan melalui pelacakan magnetik membutuhkan kerja sama dua perangkat. Satu perangkat dilengkapi dengan kumparan di tiga arah xyz dan di pada saat yang sama Sarung tangan VR juga akan berisi kumparan, dan kedua kumparan tersebut akan menghasilkan garis-garis gaya magnet dengan cara getaran frekuensi tinggi, dan kedua garis gaya magnet tersebut akan saling memotong, sehingga memperoleh perubahan posisi tangan.

Meskipun sarung tangan VR dapat memberikan penangkapan gerakan gerakan yang lebih akurat, harga dan biaya sarung tangan VR menentukan bahwa sarung tangan tersebut hanya dapat digunakan untuk sejumlah kecil pemain geek dan pasar komersial.

Dilaporkan bahwa biaya prototipe sarung tangan Meta adalah sekitar 5.000 dolar AS (sekitar 33.400 yuan), sedangkan harga pra-penjualan Quantum Metagloods Manus adalah 9.000 dolar AS (sekitar 60.000 yuan), dan harga sarung tangan interaktif Hi5 2.0 VR Noitom di 9800. Yuan Renminbi.

Dari kiri ke kanan adalah sarung tangan VR dari Manus, Noitom dan Meta

Meta menggambarkan proyek untuk mengembangkan sarung tangan haptic VR sebagai "moonshot". "Saat kami mulai mengembangkan sarung tangan haptic VR, kami berharap dapat membuat perangkat konsumen yang diproduksi secara massal dan terjangkau yang memungkinkan orang merasakan dunia virtual di mana saja." Pemimpin proyek Meta berkata: "Tapi itu hampir mustahil."

Selama penyelidikan, kami juga menemukan bahwa ada banyak sarung tangan VR buatan sendiri yang dibuat oleh pemilik UP di stasiun B. Harganya berkisar antara 100 yuan hingga 350 yuan, dan beberapa sarung tangan VR bahkan memiliki fungsi umpan balik paksa. Kami telah melihat bahwa sarung tangan VR buatan sendiri ini dapat digunakan di beberapa game VR sederhana, dan dapat melakukan beberapa gerakan sederhana seperti memegang, mencubit, dan membalik, tetapi penundaan tampilan juga terlihat jelas, dan beberapa adegan hantu sering muncul.

Pemilik stasiun B UP mencoba membuat sarung tangan VR buatan sendiri

Menghadapi kesenjangan harga sarung tangan VR yang sangat besar, seorang profesional industri yang bergerak di bidang sarung tangan VR menganalisis bahwa biaya sarung tangan VR untuk pasar B-end terutama dalam investasi R&D, suku cadang dan biaya sumber daya manusia , dan harga ditentukan sesuai pasar tuntutan. Artinya, harga pembuatan sarung tangan VR biasa mungkin tidak mahal, namun membuat sepasang sarung tangan VR yang dapat digunakan dalam skenario komersial dan memberikan presisi yang akurat membutuhkan biaya yang tinggi.

Meskipun sarung tangan VR dapat mempertimbangkan pencelupan peralatan VR dan keakuratan interaksi gerakan, cara menurunkan harga sarung tangan VR akan menjadi masalah sulit yang harus dipecahkan dalam pengembangan sarung tangan VR.

Untuk mengatasi masalah dari algoritma, teknik, dan desain interaksi

Dilihat dari dua metode interaksi tangan kosong dan interaksi sarung tangan VR, pengembangan teknologi interaksi gerakan untuk perangkat VR terus diperbarui dan diulang, dan beberapa kesulitan yang dihadapi sebelumnya secara bertahap menemukan solusi. Namun secara keseluruhan, masih banyak kesulitan dalam teknologi interaksi gestur untuk perangkat VR.

Apa yang mencegah kami membuang pengontrol VR dan mengadopsi metode interaksi gerakan baru? Shi Ming, personel penelitian dan pengembangan seri petualangan headset VR domestik dan direktur teknis Dream Bloom (iQiyi Intelligence), memberikan tiga poin utama dalam wawancara dengan Zhishi.

Yang pertama adalah level algoritma. Saat ini, teknologi interaksi gestur yang digunakan untuk perangkat VR pada dasarnya mengadopsi teknologi deep learning, sehingga proses penelitian dan pengembangan perlu mengandalkan data anotasi scene bisnis dalam jumlah besar. Namun, biaya untuk memperoleh data 3D berdasarkan gerakan tinggi, dan sulit untuk memastikan kualitas dan konsistensi data.

Pengenalan titik kunci untuk interaksi gerakan

Kedua, teknologi interaksi gestur lebih rumit dalam hal optimasi teknik. Teknologi interaksi gerakan membutuhkan model yang sangat baik sebagai premis, dan perlu melakukan penalaran dan deduksi model kecil. Dalam proses penalaran, peneliti tidak hanya harus memastikan keakuratan algoritme, tetapi juga memastikan efisiensi data secara real-time.

Yang terakhir adalah desain penggunaan interaktif. Pengembang VR perlu menghindari titik buta visual saat merancang operasi terkait interaksi gerakan, dan pada saat yang sama memberikan pengalaman interaktif yang lebih baik kepada pengguna.

Mengenai desain interaksi gestur, Liu Xiaoyu, mantan desainer Facebook Reality Labs, juga menyebutkan dalam sebuah wawancara bahwa teknologi interaksi gestur rentan terhadap oklusi selama penggunaan, dan biaya pembelajaran pengguna perlu dipertimbangkan saat merancang tindakan interaksi gestur.

Selain itu, Tong Xin, kepala peneliti dari Network Graphics Group dari Microsoft Asia Research Institute, juga menyebutkan bahwa untuk pengenalan gerakan, sulit bagi mesin untuk membedakan antara keadaan input dan non-input . Berbeda dengan metode interaksi tuts keyboard, mesin sulit membedakan apakah Anda sedang berjabat tangan, membuat gestur melambaikan tangan, atau ingin berjabat tangan untuk beristirahat saat Anda lelah bermain.

Secara umum, teknologi interaksi gerakan yang digunakan untuk perangkat VR terutama menghadapi dua kesulitan secara keseluruhan . Di satu sisi, metode interaksi gestur mana yang dapat memperhitungkan perendaman, akurasi, dan biaya rendah, serta dapat digunakan untuk semua perangkat VR. Di sisi lain, cara membuat fungsi interaksi gerakan yang paling cocok untuk perangkat ini berdasarkan konfigurasi dasar perangkat VR.

Diperkirakan bahwa hingga teknologi interaksi tangan kosong dapat mencapai akurasi yang lebih tinggi dan biaya sarung tangan VR berkurang, pegangan akan tetap menjadi salah satu solusi utama untuk interaksi gerakan perangkat VR.

Saat ini, interaksi gerakan untuk perangkat VR dibagi menjadi tiga arah: metode interaksi pegangan yang ada, metode interaksi tangan kosong yang secara bertahap menjadi arus utama, dan metode interaksi perangkat wearable eksternal yang masih dalam tahap minoritas. Namun perlu dicatat bahwa ketiga mode interaksi ini bukanlah pengganti, tetapi dapat hidup berdampingan.

Di era ponsel dan komputer yang berkembang pesat, mode interaksi pengetikan dan layar sentuh telah membawa pengalaman interaktif baru kepada orang-orang. Interaksi gestur juga akan membawa perubahan baru pada pengalaman perangkat VR dan produksi konten VR.

Perkembangan teknis interaksi gestur akan selalu memiliki arah yang tidak ada habisnya, namun teknologi interaksi gestur yang ditinggalkan oleh zaman bagaimanapun juga merupakan minoritas.Bagaimana teknologi interaksi gestur yang digunakan pada perangkat VR akan berkembang, mungkin waktu yang akan menjawabnya.