バーチャル ヒューマン: ゲームからより大きな世界へ

あなたのデジタルライフが将来どうなるか考えたことはありますか?

映画『レディ・プレイヤー 1』では、人々が「アバター」を使って、仮想と現実が融合した世界でさまざまな可能性を探求するシナリオの 1 つが描かれています。

映画の中で、ヒロインのアルテミスは現実では完璧ではありませんが、重要なテクノロジーである仮想の人間と切り離せない「オアシス」の英雄的なヒロインです。

今日は、Wei Xi がバーチャル ヒューマン テクノロジーとそれが表す未来についてお話します。

今年のメーデーの祝日、CCTV の 5 月 4 日の祝賀行事は特に異なります。

その重要なハイライトの 1 つは、テンセントインタラクティブ エンターテイメントの 3 人の仮想人物、Tong Heguang、Xingtong、Jili が多くの若い俳優とともにパフォーマンスのステージに上がったことです。

「新青年」のおなじみのメロディーに合わせて、仮想の 3 人は武漢大学と人民大学のキャンパスで多くの若い学生たちと同じ画面上にいます。

これはバーチャルヒューマン技術などの最先端のデジタル技術を導入するCCTVの新たな試みで、中国初のバーチャル番組の没入型インタラクティブ体験を生み出す。

実際、全国的なメディア プラットフォームとして、より良い視聴体験を生み出すために、CCTV は新しいテクノロジーの適用にあらゆる努力を惜しんではいません。

CCTV の夜の番組は、常に多くのブラック テクノロジーの重要な展示ウィンドウであり、AR 合成、ホログラフィック投影、8K 生放送、VR 生放送、ドローン アレイ、四足ロボット、その他多くのハード テクノロジーが CCTV の夜の番組を通じて一般の人々に紹介されてきました。生活の普及。

ある意味、CCTVの新技術の選択は、さまざまな側面から文化産業における最先端の新技術の風見鶏でもある。

祝賀会での 3 人のバーチャル ヒューマンのパフォーマンスは、観客に非常に直感的に重要なシグナルを伝えました。バーチャル ヒューマンは、大きな可能性を秘めた複合テクノロジーとして、非常に自然かつシームレスに文化やエンターテイメントのシーンに統合できるのです。

注目すべきは、パーティーに参加している3人のバーチャル人物は全員ゲーム畑出身だということだ。

これはある意味偶然ではなく、その背後には深い理由がある――。

まず、ゲーム業界はバーチャルヒューマン技術や研究開発の蓄積が深く、その技術力を活かして自然でリアル、かつインタラクティブ性の高いバーチャルヒューマン映像を制作することができます。

第二に、ゲーム業界は長年にわたりデジタル世界の創造とデジタルと現実の統合の探求に取り組んできており、バーチャル ヒューマンのアプリケーション シナリオと開発トレンドについてより深く、より前向きな理解を持っています。

5 月 4 日のガラでの Tong Heguang、Xingtong、Jili のパフォーマンスは、一般ユーザーの生活シーンに徐々に入り込んでいるバーチャル ヒューマン テクノロジーの縮図であり、デジタルとリアルが融合したデジタル インタラクションが今後の社会で標準となる重要な結節点でもあります。未来。

そして、バーチャル ヒューマン テクノロジーの背後には、テクノロジー業界の専門家による議論と分析に値する、より広範な価値観と意味があります。

まず、仮想人物について簡単に理解しましょう。

バーチャルヒューマンは単一の技術ではなく、複数の技術の集合体です。

関連する定義によれば、仮想人物とは、コンピューター グラフィックス、グラフィックス レンダリング、モーション キャプチャ、深層学習、音声合成、およびその他のテクノロジーを通じて作成されたデジタル外観を持つ仮想キャラクターを指します。

ファンからの人気が高い「初音ミク」は、美しいキャラクターの形と認識しやすい声を持ち、インタラクションができ、さらにはライブコンサートを開催することもできる、典型的なバーチャルヒューマンです。

1984年にイギリスのマックス・ヘッドルームがバーチャルヒューマンとして初めて映画に参加したことを皮切りに、バーチャルヒューマンが芽生え始めたが、この頃はまだ手描きが主流だった初期のバーチャルヒューマン。

その後、ディープラーニングやコンピュータビジョン技術の進歩、CG、音声認識、画像認識、モーションキャプチャ、リアルタイムレンダリングなどの関連技術の成熟により、バーチャルヒューマンはますます没入感を追求する方向に進んでいます。」完全なリアリティとインタラクティブ」の方向性。

「初音ミク」から「羅天一」まで、デジタルの黄仁訓からバーチャル宇宙飛行士レポーターの小正さんまで、モンスターキャッチャーのリウ・イェシーからファッショニスタ「シントン」まで、ホログラフィックコンサートからバーチャルヒューマンバラエティショーまで、今日のバーチャルピープルは急成長産業となっているなど、さまざまな分野で重要な役割を果たしています。

Qubitのレポートによると、2030年までに中国のバーチャルヒューマン市場規模は2,703億元に達し、市場需要は拡大し続けると推定されている。

今日のバーチャル ヒューマン産業は、テクノロジーと人文科学の交差点に立っています。一方で、その画像作成とインタラクティブな体験は、その背後にあるテクノロジーに大きく依存しています。他方では、その IP とヒューマン デザインはディープ インジェクションに大きく依存しています。人間性と感情の。

バーチャルヒューマンが氷山だとすると、私たちが目にしているのは氷山の水面より上の部分であり、水面下の目に見えない部分がバーチャルヒューマンを支える基盤技術となります。

次に、「星の瞳」を例に、バーチャルヒューマンを支える技術を見ていきましょう。

CCTV ステージに登場したこの仮想人間 Xingtong はゲーム内で誕生し、その成長はゲーム テクノロジーに依存しますが、その重要性はゲームを超えています。

公開情報によると、Xingtong は 2018 年に生まれ、ゲーム QQ Xuanwu の NPC の 1 人でしたが、2019 年に Tencent Interactive Entertainment が Xingtong のモデリングと 3D イメージをアップグレードし、Xingtong はより広いユーザー ビジョンを目指して動き始めました。

現在、Xingtong は QQ Xuanwu のアバター広報担当者であるだけでなく、ステーション B で 26 万人以上のファンを獲得しているファッション バーチャル ブロガーでもあります。

トレンディなスタイル、優れた服装のセンス、青い目、キュートな顔、熟練したダンススキル、エレガントなインタラクティブな会話...Xingtongは彼女が好きな多くのファンの目を本当に魅了しました。

そしてその背景には、Tencent Mutual Entertainment がリソースとテクノロジーの面で努力を惜しまなかったという注目とサポートがあります。

Xingtong のテクノロジーについてお話しますが、バーチャル ヒューマンの制作には、主にモデリング、ドライビング、レンダリングという 3 つの主要なテクノロジーが使用されます。

まず、3D モデリングは仮想人物像を構築するための基礎であり、細部の微細な復元に重点が置かれています。

第二に、キャプチャされたモーションをキャプチャして仮想ヒューマン モデルを駆動することが、現在 3D 仮想ヒューマン モーションを生成する主な方法であり、コア技術はモーション キャプチャです。

最後に、レンダリング テクノロジは、仮想人間の忠実度の復元と、仮想人間が住む環境のパフォーマンスと効果の作成を解決します。

Xingtong のイメージがこれほど鮮やかである理由は、チームがバーチャル ヒューマン ライブ ブロードキャスト テクノロジーに投資しているためです——

3D バーチャル ヒューマンのリアルタイム ライブ ブロードキャストは、複数の分野のテクノロジーの集合体です。その複雑さは、モーション キャプチャのリアルタイム駆動、エンジンのリアルタイム レンダリング、ライブ コンテンツのリアルタイム同期を統合する必要があることにあります。オーディオとビデオ。

これには、モーション キャプチャ機器、フェイシャル ドライバー、マテリアルの決済、照明レンダリング、レンダリング エンジン、ライブ コンテンツのオーディオとビデオなどの複数の結合リンクを正確にドッキングする必要があります。リンクに小さなエラーがあると、画像がひどいものになります。 。

バーチャル ヒューマン 3D リアルタイム ライブ ブロードキャストの「難しい骨」を打ち破るために、テンセント インタラクティブ エンターテイメント コンテンツ エコロジー部門は、社内のさまざまな技術チームの開発リソースを調整し、Unreal Engine4 に基づいたリアルタイム ドライビング テクノロジー パイプラインを構築しました。スクラッチ; 同時に、エピックと協力し、FACEGOOG などの企業との戦略的協力により、より困難なライブブロードキャスト効果を実現しました。

数ヶ月に及ぶデバッグとテストを繰り返した結果、顔、手、胴体のリアルタイムキャプチャ技術を駆使し、リアルタイムボーン計算+服装ツールなどのツールを活用し、髪、服装、アクセサリーの全てを再現しました。などのマテリアルを実現し、リアルタイムの物理的な動きの効果を実現します。

同時に、ライブブロードキャスト中により現実的かつ自然になるように、Xingtong 技術チームは、微細な照明処理 + エンジンライト追跡効果も使用して、マルチアングルおよびマルチアクションライトのリアルタイムレンダリングを実現しました。

飽和した技術研究開発投資は価値があることが証明されており、その過程で、今日のXingtongは、イメージ表現の点で、多くの国内バーチャルアイドルの中で最初の段階と言えるでしょう。

もちろん、バーチャルヒューマンが本当に活躍するためには、「美しいスキン」だけでなく「面白い魂」も必要ですが、結局のところ、バーチャルヒューマンの最終目標は「バーチャル」ではなく「人間」なのです。

人には個性、感情、魂、物語があり、それらは「肌の美しさ」から、生き生きとした映像と温かみのあるコンテンツを通して表現される必要があります。

仮想の人々の個性、親近感、魅力をライブ放送ほど生き生きと表現できるインタラクティブな方法はありません。

昨年6月にB局で生放送が始まって以来、シントンは毎週のようにファンと濃密な交流を続けてきた。

10 月 23 日には、24 時間中断のない誕生日ライブ放送があり、Ivan_iiivan、Bingtang IO、Qihai Nana7mi などのステーション B の他の有名なバーチャル アンカーとのオンサイト接続または交流が行われました。

すべての生放送で、Xingtongのキュートでキュートな性格、優れたダンススキル、優れた会話により、この仮想ファッションガールはより立体的でふっくらとしたものになります。

ステーションBでの集中砲火であっても、注意深いファンは、ライブ放送の初めのわずかな緊張からその後のリラックスしたXingtongの微妙な変化をまだ感じることができます。

同時に、Xingtongの可能性をさらに広げるために、Xingtongの運営チームはこのファッショナブルな女の子を次元の壁を突破させました。

Xingtongはこれまでに「李寧とリーバイスの仮想広報担当者」、「MAKE UP FOR EVER芸術的トレンディメイクアップ大使」、「長沙市初の無形遺産文化観光推進大使」、「孔雀舞の大衆的解釈の継承者」、「フラワースケートチャンピオン」に就任した。清代の龐煖の弟子」。

これらのレーベルにより、Xingtong は新世代のバーチャル アイドルとして、複数の業界を支援し育成する鮮やかな事例となり、バーチャル ヒューマン テクノロジーの応用シナリオがさらに広がります。

Xingtong はゲームから生まれましたが、すでにゲームを超えています。

その過程において、彼女は数値と現実の統合を促進する新興産業としてのバーチャル ヒューマンの典型です。

Tencent のバーチャル アイドルへの初進出により、Xingtong がすぐに業界のベンチマークになると思っているなら、それは間違いです。

実際、バーチャル ヒューマンを導入した中国のテクノロジー企業の最初のグループとして、テンセントのバーチャル ヒューマン テクノロジーの蓄積と躍進は、一夜にして起こったわけではありません。

2018 年の時点で、NExT Studios が共同制作した高忠実度のバーチャル ヒューマンである Siren は、リアルタイムの表現と動きによって駆動され、当時業界でセンセーションを巻き起こしました。

1年後に生まれたマットは、AI技術によって音声による表情表現を実現し、声と生き生きとした表情や感情を密接に結びつけることができた。

2021年、テンセントNExTスタジオと新華社は、リアルタイム高忠実度バーチャルヒューマン技術に基づいて、中国初のデジタルレポーターと世界初のデジタル宇宙飛行士シャオ・ジェンを共同で立ち上げ、多くの航空宇宙レポートを完成させた。

そして今回、Xingtongと同じステージでCCTVに出演したTong HeguangとJi Liにもそれぞれの特徴があります——

Gilly は、Unreal Engine の次世代リアル キャラクター モデル生成システムである MetaHuman と、最先端の Facegood フェイス キャプチャ テクノロジーを使用して、身体と表情をより鮮明かつ自然にします。

Tong Heguang 氏の背後には、NExT Studios が自社開発した xFaceBuilder® デジタル キャラクター制作、xMoCap® モーション キャプチャ アニメーションの全プロセス制作パイプライン、および xLab フォト モデリングおよびモーション キャプチャ ラボラトリーの技術サポートがあり、男性バーチャル アーティストの代表でもあります。アイドル。

バーチャルヒューマン技術の蓄積と躍進は、ゲーム会社の先進的なレイアウトや研究開発の蓄積と切り離せないものであり、本質的にゲーム技術は現在の段階まで発展し、「世界に通用する」能力を備えていることがわかります。そして上流および下流の産業をさらに強化します。

ゲームから生まれたバーチャルヒューマン技術は、コンピュータグラフィックス、人工知能、仮想現実などのインターネットフロンティア分野を網羅する「新種」に発展し、多分野で極めて幅広い応用がなされています。

バーチャルヒューマン産業は、バーチャルアイドルという細分化された路線に留まらず、すでに幅広い応用シーンに向けて動き始めています。

一般に、アバターはアイデンティティ タイプと機能タイプの 2 つのタイプに分類できます。

アイデンティティ タイプのアバターは、主に仮想 IP およびアイドルであり、明らかな性格と IP 属性を備えています。一方、機能アバターは、主に現実の人間のサービスを置き換えるために使用され、現実世界でのサービス指向の役割を仮想的に表現します。

今、この2種類がバーチャルヒューマン産業の2つのルートとして、それぞれの特色を加速させつつある――。

まず、アイデンティティベースのバーチャルアイドルについてですが、バーチャルアイドルはリアルアイドルに比べて「家が倒壊する」という危険性がないことが開発の重要な理由の一つであり、大手エンターテイメント企業も積極的に展開しています。バーチャルアイドルのマーケット。

機能的なバーチャル ヒューマンに注目すると、その開発は、博物館の人件費を実際に節約できる最も単純なシーンと博物館のガイドなどの実用的な価値から生まれています。

テクノロジーの進歩に伴い、バーチャルヒューマンの制作コストは徐々に下がってきており、デジタル従業員やバーチャルアンカーなどの新たなフォーマットが次々に開発され、エンターテインメント、電子商取引、教育、教育など多くの業界で活用されています。そして文化観光も徐々に定着し始めている。

たとえば、湖南衛星テレビは、2022年1月1日に初放送された「Hello, Saturday」番組でバーチャルホストXiaoyangを開始しました。

政策レベルでの国家の支援も、機能的なバーチャルヒューマンの精力的な開発の重要な原動力です。

2022年10月の「ラジオ、テレビ、インターネットオーディオビジュアルの科学技術発展に関する第14次5カ年計画」では、ニュース放送、天気予報、バラエティ番組、科学などでバーチャルアンカーとアニメーション手話が広く使用されるべきだと指摘した。教育やその他のプログラム。

これは機能的なバーチャルヒューマンの開発の方向性を政策レベルで示している。

需要側と供給側の発展が進むにつれて、アイデンティティベースのバーチャル ヒューマンと機能的なバーチャル ヒューマンの両方が、それぞれの分野で大きな可能性を示していることがわかります。

バーチャルヒューマン技術はゲーム技術から生まれ、ゲーム技術の進歩とともに進歩を続けてきました。

次の写真から直感的にそれを感じることができます—

これが『トゥームレイダー』におけるローラのイメージの進化の過程である。

ディープラーニング、リアルタイムレンダリング、CG、モーションキャプチャ、マシンビジョンなどに代表されるゲーム技術の進歩により、仮想ローラのイメージがぼやけたものから鮮明なものへ、ぎこちないものから敏捷なものへ、そして、漫画から現実へ。

アバター画像の鮮やかさと充実感がゲーム体験をさらに高めます。

より巨視的な次世代インターネット「スーパーデジタルシーン」において、ゲーム技術とそこから派生するバーチャルヒューマン技術は、将来のデジタルとリアルの融合産業におけるある意味「メタテクノロジー」となり、その役割を担うことになるでしょう。 「ドリームメーカー」、「ワークショップ」のインフラ的役割。

この背後にある核となるロジックは、メタバースの関連する青写真に基づいているにせよ、次世代の泉真インターネットの関連する定義に基づいているにせよ、次のコンピューティング プラットフォームは「現実」と「仮想」の境界を確実に曖昧にするということです。

その際、「アイデンティティ」は非常に重要な部分となります。

どのような意味です？

今日のオンライン世界では、私たちのアイデンティティを定義するものは、WeChat のシンプルなアバター、王の栄光の漫画のヒーロー、Facebook の VR ソーシャル シーンの脚のない胸像など、非常に単調で、非常に「活気のある」ものです。

この背後にある最も本質的な理由は、これらの「アバター」入力の帯域幅が小さすぎて、行動、態度、感情を含む私たちの「精神」を直感的に反映できないことです。

将来、この入力帯域は確実に増加し、その頃には現実世界の人間として、広義のバーチャルヒューマン技術に属するリアルな「オンライン」が完成します。

次世代コンピューティング プラットフォームがどのように変化するとしても、「人」と「世界」という 2 つの要素は非常に重要です。

これには、私たちと私たちのデジタル アバター、他の人々と「他の人々のデジタル アバター」、そして完全にデジタル化された「純粋な仮想の人々」が含まれます。

その中の世界には、現実世界と仮想世界、そしてデジタルとリアルが融合した世界が含まれます。

現実世界のマッピングと拡張を実現するために、ゲーム技術からの「波及」したバーチャルヒューマン技術は、バーチャルヒューマンや現実の人間と何ら変わらない「本物の人間のクローン」を生み出すことができ、ゲーム技術自体もゼロから高効率かつ高品質に構築できる、形・音・色のデジタルシーン。

私が描いた未来が遠い遠い話だとは思わないでください。実際、ゲーム テクノロジーがバーチャル ヒューマン業界に「波及」するだけでなく、より多くの業界やシナリオにも「波及」することがすでに目に見えています。

たとえば、ゲーム テクノロジーは映画やテレビの制作業界で広く使用されており、撮影コストを削減しながら、映画やテレビの制作の柔軟性と表現力を効果的に向上させることができます。

2019 年のアメリカの人気ドラマ「マンダロリアン」の撮影では、撮影チームは Unreal Engine4 を使用してスター・ウォーズの詳細なシーンを作成し、デジタル仮想撮影を実現しました。

自動車業界もゲーム由来のテクノロジーの恩恵を受けており、たとえば、ゲーム エンジンはリアルタイム 3D 作成プラットフォームとして機能し、自動車業界の設計、シミュレーション トレーニング、自動運転に応用できます。

たとえば、自動運転の観点では、Tencent TAD Sim は UE4 を導入し、物理エンジンを使用して実際の運転条件で天候や交通状況をシミュレートし、環境シミュレーション効果を実現します。

ゲームエンジンによるデジタルツインシステムはスマートシティ計画にも役立ち、例えば香港空港はデジタルツインをベースにした空港運営・保守システムを開発しました。

ゲーム エンジンの創始者であるジョン カーマックが DOOM エンジンを開発し、1997 年にオープンソース化すると発表したとき、彼は自分が作成したテクノロジーが数十年後にゲームを超え、映画やテレビでこれほど広く使用されるようになるとは想像もしていませんでした。 、自動車、オートメーション、その他の産業分野。

ヤン・デチャン監督は、映画の発明以降、人間の寿命は少なくとも3倍に延びたと語った。

ある意味、ゲームの発明以降、映画によって人間の寿命は少なくとも3倍は延びたということになります。

「ゲームの世界」と「現実の世界」を繋ぐのは、Ninth Art Gamesが「衰退を魔法に変える」技術を支えている。

その時のゲームはもうゲームではなくなる。