Khoảnh khắc lật đổ VR: Vứt bộ điều khiển và vào "lái xe vô nghĩa"

Thật bất ngờ, mùa xuân này các nhà sản xuất VR đã tung ra "một đôi tay".

Chỉ trong nửa đầu năm 2022, bốn gã khổng lồ VR đã cải tiến công nghệ tương tác bằng cử chỉ trên các thiết bị VR của riêng họ.

Vào ngày 20 tháng 4, phiên bản tương tác cử chỉ Oculus Quest 2 của tai nghe VR Meta đã được lặp lại thành 2.0, giải quyết vấn đề mất định vị tay. Vào ngày 13 tháng 4, Pico, một thương hiệu VR thuộc sở hữu của ByteDance, đã thông báo rằng hai bộ tai nghe VR cấp doanh nghiệp của họ có thể nâng cao trải nghiệm tương tác cử chỉ thông qua các phụ kiện theo dõi bàn tay tùy chỉnh. Nhà sản xuất VR HTC cũng đã phát hành một thiết bị theo dõi cổ tay mới vào tháng 1 năm nay để hỗ trợ dự đoán vị trí tay của người dùng.

So sánh Oculus Quest 2 Gesture Interaction Version 1.0 và Version 2.0 trong Hand Fast Tracking

Cho dù đó là công nghệ tương tác tay không hay phụ kiện theo dõi tay, công nghệ tương tác cử chỉ dành cho thiết bị VR đã liên tục lặp đi lặp lại. Đồng thời, nhiều công ty VR vẫn đang cố gắng tìm ra các phương pháp tương tác cử chỉ mới, chẳng hạn như găng tay VR.

Vào ngày 6 tháng 5, nhà sản xuất găng tay VR Hà Lan Manus đã thông báo rằng loại găng tay VR mới Quantum Metagloves với công nghệ theo dõi từ tính đã bắt đầu được bán trước. Vào ngày 4 tháng 5, gã khổng lồ công nghệ ghi lại chuyển động trong nước Noitom đã phát hành găng tay tương tác Hi5 2.0 VR. Ngay từ tháng 11 năm 2021, Meta đã giới thiệu mẫu găng tay xúc giác VR của riêng mình và chia sẻ những thành tựu mới nhất về tương tác cử chỉ VR.

Từ trái sang phải là găng tay VR của Manus, Noitom và Meta

Không chỉ vậy, một số công ty VR tiềm năng như Apple, Google và Microsoft cũng đã được phê duyệt một số bằng sáng chế liên quan đến nhẫn thông minh , cố gắng biến nhẫn thông minh trở thành thiết bị đầu vào chính cho tương tác cử chỉ thế hệ tiếp theo.

Công nghệ tương tác bằng cử chỉ là phương thức tương tác cơ bản và tự nhiênnhất , đồng thời nó cũng là một trong những phương thức tương tác chủ đạo trong thiết bị VR. Nói chung, tương tác cử chỉ đề cập đến công nghệ nhận dạng cử chỉ của con người thông qua các thuật toán toán học , bao gồm nhiều quy trình như thu thập hình ảnh, theo dõi cử chỉ, nhận dạng và phân tích cử chỉ.

Trong số đó, theo dõi bàn tay và nhận dạng cử chỉ là hai bước quan trọng trong tương tác cử chỉ. Theo dõi bàn tay đề cập đến việc định vị chính xác vị trí của bàn tay người dùng trong màn hình gắn trên đầu VR và cách nhận dạng chính xác chuyển động của từng ngón tay và nhận dạng các dạng khác nhau của bàn tay thuộc về nhận dạng cử chỉ.

Công nghệ tương tác bằng cử chỉ cũng ẩn chứa một không gian thị trường khổng lồ. Markets and Markets, một công ty phân tích thị trường quốc tế, đã công bố một báo cáo cho biết thị trường "nhận dạng cử chỉ và nhận thức không cần chạm" sẽ đạt 34 tỷ USD vào năm 2024.

Những cách mới để sử dụng công nghệ tương tác cử chỉ của thiết bị VR là gì? Tại sao các nhà sản xuất lại nâng cấp công nghệ tương tác cử chỉ cho thiết bị VR của mình trong thời gian tới? Sự phát triển của công nghệ tương tác cử chỉ cho thiết bị VR là gì?

Sau khi trao đổi sâu với CTO Dai Ruoli của Nuitom, giám đốc kỹ thuật của Dream Blossom (iQiyi Smart) Shi Ming và giám đốc kỹ thuật của HTC, chúng tôi đã cố gắng tìm câu trả lời.

So với các thiết bị di động khác, công nghệ tương tác cử chỉ dành cho thiết bị VR phát triển khá chậm . Ví dụ: sau gần 5 năm phát triển từ 3dof lên 6dof, nó vẫn còn ở giai đoạn sơ khai từ tương tác tay cầm sang tương tác tay không. Với sự tiến bộ không ngừng của công nghệ, tương tác tay không cũng bắt đầu trở nên phổ biến trên nhiều bộ tai nghe VR dành cho người tiêu dùng.

Meta đã phát hành phiên bản 1.0 của tương tác cử chỉ vào năm 2019 và giới thiệu tương tác tay trần vào tai nghe Oculus Quest VR, cho phép người dùng trực tiếp nhìn thấy bàn tay của họ trong thế giới ảo và thực hiện một số thao tác tương tác đơn giản. Sau 2 năm, Oculus Quest 2 có tương tác cử chỉ phiên bản 2.0.

Nâng cấp này chủ yếu giải quyết hai vấn đề. Một là để giải quyết vấn đề khó theo dõi tay khi tay của người dùng chồng lên nhau. Trong tương tác cử chỉ của Nhiệm vụ 2 phiên bản 1.0, khi tay người dùng chặn hoặc chồng lên nhau, hệ thống sẽ khó nhận ra cử chỉ của người dùng. Thứ hai là khi người dùng vung tay quá nhanh, hệ thống rất dễ mất dấu tay. Việc xảy ra cả hai tình huống này có thể khiến các tay chơi đột ngột biến mất khỏi thế giới ảo.

So sánh tương tác cử chỉ của Quest 2 phiên bản 1.0 và phiên bản 2.0

Về cách giải quyết hai vấn đề này, Meta đã giải thích trong thông báo của mình rằng phiên bản mới cải thiện độ tin cậy về hiệu suất của tính năng theo dõi tay dựa trên "phương pháp học máy và thị giác máy tính được thiết kế lại" . Tuy nhiên, kể từ khi cập nhật phiên bản, chúng tôi đã thấy nhiều người dùng phản hồi rằng mặc dù chức năng tương tác bằng cử chỉ mang lại trải nghiệm tốt hơn nhưng hệ thống cũng có hiện tượng giật lag rõ rệt.

Về hiện tượng này, Dai Ruoli giải thích rằng bản thân khả năng xử lý và tính toán của tai nghe VR tương đối hạn chế , trong khi Meta thu thập dữ liệu dựa trên thị giác máy tính và sử dụng một phần tài nguyên máy tính để dự đoán vị trí của tay người dùng. màn hình được gắn mang lại áp lực xử lý và tính toán lớn hơn , đây cũng là nguyên nhân chính dẫn đến hiện tượng "đóng băng hệ thống".

HTC cũng đã ra mắt thiết bị theo dõi cổ tay VIVE Wrist Tracker mới vào tháng 3 năm nay và nâng cấp phiên bản theo dõi tay của riêng mình vào cuối năm ngoái. Theo thông tin trên trang web chính thức của HTC, khi người dùng đeo thiết bị theo dõi trên cổ tay, ngay cả khi tay rời khỏi tầm nhìn của camera trong một khoảng thời gian, hệ thống vẫn có thể dự đoán chuyển động của tay thông qua IMU tần số cao. dữ liệu và mô hình động học của thiết bị theo dõi cổ tay.theo dõi chuyển động.

Người phụ trách có liên quan của HTC cũng chia sẻ với Zhishi rằng so với bộ điều khiển VIVE Focus 3, VIVE Wrist Tracker đã loại bỏ các nút, đầu vào xúc giác và các thành phần khác để giảm kích thước của pin và làm cho bộ điều khiển nhỏ hơn và nhẹ hơn. Theo báo cáo, bộ theo dõi cổ tay của HTC nhỏ hơn 85% và nhẹ hơn 50% so với bộ điều khiển VIVE Focus 3.

Thiết bị theo dõi cổ tay VIVE Wrist Tracker

Chúng ta có thể thấy rằng giải pháp tương tác tay không của Meta vẫn dựa trên thị giác máy tính, trong khi giải pháp tương tác tay không của HTC cần dựa vào các thiết bị ngoại vi như thiết bị theo dõi cổ tay. Cái trước có thể giúp người dùng trải nghiệm thú vị khi tương tác tay không một cách nhanh chóng và hiệu quả, trong khi cái sau cải thiện độ chính xác và độ tin cậy của tương tác cử chỉ ở một mức độ nhất định thông qua các cảm biến quán tính. Đối mặt với các kịch bản ứng dụng khác nhau, các giải pháp tương tác tay không của thiết bị VR từ các nhà sản xuất khác nhau có điểm nhấn riêng.

Nhưng tương tác tay không chắc chắn sẽ mang lại cho mọi người trải nghiệm tốt hơn? Dai Ruoli cho biết trong một cuộc phỏng vấn: "Vào thời điểm công nghệ chưa trưởng thành, việc nhúng các phương thức tương tác giữa người và máy tính mới như tương tác tay không vào hệ điều hành sẽ khiến mọi người kỳ vọng quá mức."

"Xét về tỷ lệ thành công của hoạt động và phản hồi xúc giác, tay cầm thú vị và chính xác hơn nhiều so với tương tác bằng tay không." Ông giải thích rằng trong lĩnh vực tương tác giữa con người và máy tính, 80% độ chính xác của thao tác và 100% hoạt động chính xác Trải nghiệm tương tác mang đến cho người dùng là hoàn toàn khác biệt.

Tong Xin, trưởng nhóm nghiên cứu của Network Graphics Group thuộc Microsoft Asia Research Institute, đã xác nhận điều này trong một cuộc phỏng vấn với giới truyền thông vào năm 2017. "Khi tôi cầm tay cầm trong tay, tay cầm không chỉ là thiết bị đầu vào mà còn là thiết bị đầu ra. Nó có thể cung cấp cho tôi phản hồi đầu ra thông qua rung và phản hồi lực. Khi tôi vẫy tay trong không trung, tôi sẽ đánh mất chính mình kênh đầu ra. "

Tiêu thụ điện toán hạn chế, chi phí học tập cao và độ chính xác hoạt động thấp là những lý do chính cản trở sự phát triển của công nghệ tương tác tay trần cho các thiết bị VR. Nhưng về trải nghiệm tương tác, tương tác tay không cũng sẽ cung cấp cho các nhà sản xuất nội dung VR nhiều không gian hơn để chơi . Trong nhiều thiết bị VR, tương tác tay không được sử dụng như một phương thức tương tác cử chỉ phụ trợ.

Để tìm sự cân bằng giữa cảm giác đắm chìm do tương tác tay trần mang lại và độ chính xác cao do tay cầm VR mang lại, các nhà sản xuất VR đã đưa ra một cách tương tác cử chỉ khác - găng tay VR.

Hiện tại, có nhiều dạng găng tay VR, nhưng găng tay VR có thể được sản xuất hàng loạt và bán trên quy mô lớn chủ yếu được chia thành hai loại dựa trên cảm biến quán tính và cảm biến uốn .

Khác với phương pháp xử lý dữ liệu dựa trên tương tác cử chỉ thị giác máy tính, găng tay VR dựa trên cảm biến quán tính sẽ thu thập một lượng lớn dữ liệu về định vị bàn tay và tương tác ngón tay thông qua cảm biến. Tuy nhiên, găng tay VR dựa trên cảm biến uốn cong có độ chính xác đo thấp và do yêu cầu cao về độ vừa vặn nên sự thoải mái của thiết bị đeo cũng thấp.

Chúng tôi đã có cơ hội trải nghiệm trước găng tay tương tác Hi5 2.0 VR. Một đôi găng tay tương tác Hi5 2.0 VR có tổng cộng 12 cảm biến quán tính và mỗi tay đeo sáu cảm biến không dây, được phân bổ trên năm ngón tay và mu bàn tay. Đồng thời, bộ đồ cũng sẽ được trang bị bộ thu phát dữ liệu , có thể cắm vào máy tính hoặc tai nghe VR để truyền dữ liệu.

Găng tay tương tác Hi5 2.0 VR

Bật cảm biến, cài đặt cảm biến, cố định bộ theo dõi tay và chọn giao diện hiệu chỉnh.Phương pháp hiệu chỉnh găng tay Hi5 2.0 VR phức tạp hơn chúng ta tưởng tượng.

Trong quá trình trải nghiệm, chúng tôi nhận thấy găng tay tương tác Hi5 2.0 VR có thể cung cấp quá trình nhận dạng cử chỉ chính xác hơn, chẳng hạn như vị trí của bàn tay và sự thay đổi của cử chỉ về cơ bản có thể hiển thị các thay đổi theo thời gian thực. Theo trang web chính thức, tốc độ khung hình tính toán thái độ của thiết bị đã được tăng từ 180 khung hình/giây lên 500 khung hình/giây và nhân viên R&D cũng đã cải thiện một mức độ nhiễu chống từ nhất định thông qua các thuật toán.

Nhân viên R&D của Noitom đang hiệu chỉnh găng tay tương tác Hi5 2.0 VR

Ngoài ra, các nhà nghiên cứu cũng đang thử nghiệm các thiết kế găng tay VR khác nhau.

Vào tháng 11 năm 2021, Meta đã công bố nguyên mẫu của găng tay xúc giác VR đã 7 năm tuổi của mình. Chiếc găng tay VR này thay thế động cơ bằng một van khí siêu nhỏ và điều chỉnh dụng cụ bơm hơi trên ngón tay thông qua một hệ thống điều khiển phức tạp để tạo thành áp suất thực tế. .loại cảm ứng.

Găng tay cảm ứng Meta

Găng tay Quantum Metagloods VR của nhà phát triển găng tay VR Hà Lan Manus dựa trên công nghệ theo dõi từ tính.

Khác với giải pháp của Noitom sử dụng thuật toán để giảm nhiễu từ do môi trường tự nhiên và đảm bảo tính ổn định của quá trình theo dõi, giải pháp tương tác cử chỉ thông qua theo dõi từ tính cần sự hợp tác của hai thiết bị, một thiết bị được trang bị cuộn dây theo ba hướng xyz và at Đồng thời, găng tay VR cũng sẽ chứa một cuộn dây, hai cuộn dây này sẽ tạo ra các đường lực từ theo kiểu rung tần số cao, và hai đường lực từ sẽ cắt lẫn nhau, từ đó thu được sự thay đổi vị trí của tay.

Mặc dù găng tay VR có thể cung cấp khả năng chụp chuyển động cử chỉ chính xác hơn, nhưng giá cả và chi phí của găng tay VR xác định rằng chúng chỉ có thể được sử dụng cho một số ít người chơi đam mê và thị trường thương mại.

Được biết, giá nguyên mẫu của găng tay Meta là khoảng 5.000 đô la Mỹ (khoảng 33.400 nhân dân tệ), trong khi giá bán trước của Quantum Metagloods của Manus là 9.000 đô la Mỹ (khoảng 60.000 nhân dân tệ) và găng tay tương tác Hi5 2.0 VR của Noitom có giá ở mức 9.800. Nhân dân tệ.

Từ trái sang phải là găng tay VR của Manus, Noitom và Meta

Meta đã mô tả dự án phát triển găng tay haptic VR là một "cú hích". "Khi chúng tôi bắt đầu phát triển găng tay haptic VR, chúng tôi hy vọng sẽ tạo ra một thiết bị tiêu dùng được sản xuất hàng loạt, giá cả phải chăng, cho phép mọi người trải nghiệm thế giới ảo ở bất cứ đâu." Trưởng dự án của Meta cho biết: "Nhưng điều đó gần như là không thể."

Trong quá trình điều tra, chúng tôi cũng phát hiện ra rằng có rất nhiều găng tay VR tự chế của các chủ UP ở ga B. Những loại găng tay này có giá từ 100 tệ đến 350 tệ, thậm chí một số găng tay VR còn có chức năng phản hồi lực. Chúng tôi đã thấy rằng những chiếc găng tay VR tự tạo này có thể được sử dụng trong một số trò chơi VR đơn giản và có thể thực hiện một số cử chỉ đơn giản như giữ, véo và lật, nhưng độ trễ hiển thị cũng rõ ràng và một số cảnh ma thường xuất hiện.

Chủ trạm B UP thử làm găng tay VR tự chế

Đối mặt với khoảng cách lớn về giá của găng tay VR, một chuyên gia trong ngành tham gia vào găng tay VR đã phân tích rằng chi phí của găng tay VR cho thị trường B-end chủ yếu là đầu tư vào R&D, chi phí phụ tùng và nguồn nhân lực , và giá được xác định theo thị trường yêu cầu. Điều này có nghĩa là giá sản xuất một chiếc găng tay VR thông thường có thể không cao, nhưng để sản xuất một đôi găng tay VR có thể sử dụng trong các tình huống thương mại và mang lại độ chính xác chính xác thì cần chi phí cao.

Mặc dù găng tay VR có thể tính đến khả năng nhúng của thiết bị VR và độ chính xác của tương tác cử chỉ, nhưng làm thế nào để giảm giá găng tay VR sẽ là một bài toán khó phải giải quyết trong quá trình phát triển găng tay VR.

Để khắc phục các vấn đề từ thuật toán, kỹ thuật và thiết kế tương tác

Đánh giá từ hai phương pháp tương tác tay không và tương tác với găng tay VR, sự phát triển của công nghệ tương tác cử chỉ cho thiết bị VR liên tục được cập nhật và lặp đi lặp lại, và một số khó khăn gặp phải trước đây đã dần tìm ra giải pháp. Nhưng nhìn chung vẫn còn nhiều khó khăn trong công nghệ tương tác cử chỉ cho thiết bị VR.

Điều gì đang ngăn cản chúng ta vứt bỏ bộ điều khiển VR và áp dụng các phương pháp tương tác cử chỉ mới? Shi Ming, nhân viên nghiên cứu và phát triển của loạt phim phiêu lưu tai nghe VR trong nước và là giám đốc kỹ thuật của Dream Bloom (iQiyi Intelligence), đã đưa ra ba điểm chính trong một cuộc phỏng vấn với Zhishi.

Đầu tiên là cấp độ thuật toán. Hiện tại, công nghệ tương tác cử chỉ được sử dụng cho thiết bị VR về cơ bản áp dụng công nghệ học sâu, vì vậy quá trình nghiên cứu và phát triển cần dựa vào một lượng lớn dữ liệu chú thích bối cảnh kinh doanh. Tuy nhiên, chi phí thu thập dữ liệu 3D dựa trên cử chỉ cao và khó đảm bảo chất lượng và tính nhất quán của dữ liệu.

Nhận dạng điểm chính cho tương tác cử chỉ

Thứ hai, công nghệ tương tác cử chỉ phức tạp hơn về mặt tối ưu hóa kỹ thuật. Công nghệ tương tác cử chỉ cần một mô hình xuất sắc làm tiền đề, và cần thực hiện suy luận và suy luận mô hình nhỏ. Trong quá trình suy luận, các nhà nghiên cứu không chỉ phải đảm bảo tính chính xác của thuật toán mà còn phải đảm bảo hiệu quả thời gian thực của dữ liệu.

Cuối cùng là thiết kế sử dụng tương tác. Các nhà phát triển VR cần tránh các điểm mù thị giác khi thiết kế các hoạt động liên quan đến tương tác cử chỉ, đồng thời cung cấp cho người dùng trải nghiệm tương tác tốt hơn.

Về thiết kế tương tác cử chỉ, Liu Xiaoyu, cựu nhà thiết kế của Facebook Reality Labs, cũng đề cập trong một cuộc phỏng vấn rằng công nghệ tương tác cử chỉ dễ bị tắc trong quá trình sử dụng và chi phí học tập của người dùng cần được xem xét khi thiết kế các hành động tương tác cử chỉ.

Ngoài ra, Tong Xin, trưởng nhóm nghiên cứu Nhóm Đồ họa Mạng của Viện Nghiên cứu Microsoft Châu Á, cũng đề cập rằng đối với nhận dạng cử chỉ, máy rất khó phân biệt giữa trạng thái đầu vào và trạng thái không đầu vào . Khác với phương thức tương tác chính của bàn phím, máy khó phân biệt được bạn đang run tay, đang làm động tác vẫy tay hay muốn lắc tay cho nghỉ khi chơi mỏi tay.

Nói chung, toàn bộ công nghệ tương tác cử chỉ được sử dụng cho thiết bị VR chủ yếu gặp phải hai khó khăn . Một mặt, phương pháp tương tác cử chỉ nào có thể tính đến độ chìm, độ chính xác và chi phí thấp, đồng thời có thể được sử dụng cho tất cả các thiết bị VR. Mặt khác, làm thế nào để tạo chức năng tương tác cử chỉ phù hợp nhất cho thiết bị này dựa trên cấu hình cơ bản của thiết bị VR.

Có thể thấy trước rằng cho đến khi công nghệ tương tác tay trần đạt được độ chính xác cao hơn và giá thành của găng tay VR giảm xuống, tay cầm vẫn sẽ là một trong những giải pháp chủ đạo cho tương tác cử chỉ của các thiết bị VR.

Hiện tại, tương tác cử chỉ cho các thiết bị VR được chia thành ba hướng: phương thức tương tác tay cầm hiện có, phương thức tương tác tay không đang dần trở thành xu hướng và phương thức tương tác của các thiết bị đeo bên ngoài vẫn còn ở giai đoạn thiểu số. Nhưng điều đáng chú ý là ba phương thức tương tác này không thay thế cho nhau mà có thể cùng tồn tại.

Trong thời đại phát triển nhanh chóng của điện thoại di động và máy tính, cả hai chế độ tương tác gõ và màn hình cảm ứng đã mang lại trải nghiệm tương tác mới cho mọi người, tương tác cử chỉ cũng sẽ mang lại những thay đổi mới cho trải nghiệm thiết bị VR và sản xuất nội dung VR.

Sự phát triển kỹ thuật của tương tác cử chỉ sẽ luôn có vô số hướng đi, nhưng công nghệ tương tác cử chỉ mà thời đại để lại xét cho cùng chỉ là thiểu số, công nghệ tương tác cử chỉ được sử dụng trong thiết bị VR sẽ phát triển như thế nào, có lẽ thời gian sẽ cho chúng ta biết câu trả lời.