ジェンス・ホァン氏への独占インタビュー：「トークン経済」の急成長

著者：龍玥　出典：ウォールストリート・ジャーナル

先日、NVIDIAのCEOであるジェンスン・フアン氏が、著名なテクノロジー・ポッドキャスト「Lex Fridman Podcast」に出演し、AIのスケーリング法則、計算能力と電力のボトルネック、AIファクトリー、同社の将来展望、そしてAIが人類社会に与える影響といった核心的なテーマについて、2時間以上にわたる深い対談を行った。

トークンはすでに新たな商品となっており、計算が世界のGDPに占める割合は100倍に跳ね上がる見込みだ

黄仁勲氏の核心的な見解の一つは、計算の本質が根本的な変革を遂げたということだ。かつては人間が事前に記録し、コンピュータが検索を担う「ストレージシステム」から、文脈認識能力を備えた「生成システム」へと転換した。

さらに重要なのは、現実経済におけるコンピュータの役割が変化したことだ。かつてのコンピュータは検索システムであり、主な機能はファイルの保存だった。黄仁勲氏はこれを「倉庫」に例えているが、倉庫自体は直接的に多額の利益を生み出すものではない。

一方、現在のAIコンピュータは「工場」へと変貌し、企業の収益創出に直接結びついている。彼は、AI受託製造業者が「トークン」と呼ばれる商品を製造しており、この商品はすでに細分化され、価格設定されていると指摘している。

「私たちは、この受託製造業者が人々が消費したい商品を生産しているだけでなく、彼らが製造するトークンが多くの異なる層にとって極めて価値のあるものとなっており、さらにはiPhoneのように階層化され始めているのを見ている。無料のトークン、プレミアムなトークン、そして中間の層にあるトークンがあるのだ」と黄仁勲氏は述べ、「100万トークンごとに1000ドルを支払うことを厭わない人々もおり、この構想はそう遠くない将来に実現する。これは『起こるかどうか』ではなく、『いつ起こるか』という問題だ。」

この「トークン工場」モデルに基づき、コンピューティング機器はコストセンターからプロフィットセンターへと転換を遂げた。

黄仁勲氏はこのマクロトレンドを確信を持って予測した。「生産性が大幅に向上すれば、世界のGDPは加速的に成長する。将来、コンピューティングに費やされるGDPの割合は、現在の100倍になると私は確信している。」

時価総額10兆ドルへ？黄仁勲氏：成長は必然だ

「トークン」に基づく経済理論に基づき、黄仁勲氏は、NVIDIAが時価総額10兆ドルという新たな頂点に到達できるかという議論に答えた。

彼は「この数字（10兆ドル）は単なる数字に過ぎない」と述べた。しかし、「NVIDIAの成長は高い確率で起こり、私の見解では必然である」と明確に指摘した。将来、3兆ドルの売上高を達成することも不可能ではない。

電力ボトルネックの解決策：「余剰電力を活用する」、「エレガント・デグラデーション」を実現するデータセンターの構築

AIの拡張におけるボトルネックについて、黄仁勲氏は「電力は懸念材料だが、唯一の懸念ではない」と明言した。彼は2つの並行する道筋を示した。1つはエネルギー効率をさらに高めること、もう1つはより多くの電力を確保する方法を模索することだ。

エネルギー効率については、「1ワットあたりの1秒あたりのトークン数」が指標であると強調し、「究極の協調設計」によってエネルギー効率を向上させると述べた。「当社のコンピュータの価格は上昇しているが、トークン生成効率はそれ以上に急速に上昇しているため、トークンコストは低下している……毎年1桁ずつ低下している。」

「電力の確保方法」について、彼はより具体的な考え方を提示した。電力網は極端なピーク需要を想定して設計されているため、ほとんどの時間は余剰がある。黄仁勲氏は次のように述べた。「現在の電力網は、極端な気象条件における最大ピーク（安全マージンを加えたもの）に基づいて設計されている。『99%の時間、電力網は最悪のシナリオに達していない』のだ。多くの場合、ピーク時の60%程度でしか稼働していない。」

このこの余剰エネルギーを活用するためには、クラウドプロバイダーと電力会社間の厳格な電力供給契約を見直し、「6つの9」（99.9999%）という絶対的な可用性を盲目的に追求することをやめる必要があると彼は考えている。

「我々は『グレースフル・ディグレード（gracefully degrade）』が可能なデータセンターを構築する必要がある」と黄仁勲は説明し、「電力網側から『電力供給を80%に削減する必要がある』と言われた場合、データセンターは重要な負荷を移行するか、演算速度を下げることができます。計算サービスの品質はわずかに低下しますが、消費エネルギーは削減されます。」

サプライチェーンとメモリ：200社のサプライヤーを結集し、3年前からHBMの体制を構築」

システムエンジニアリングの面では、NVIDIAはインフラの製造モデルを根本から変革しつつある。黄仁勲氏は、Vera Rubinのラック1台だけでも130万から150万個のコンポーネントが含まれており、その背後には200社のサプライヤーの技術が集結していると明かした。

NVLink-72のような極めて高い相互接続密度に対応するため、従来のようにデータセンターの現場で部品を組み立てる従来のモデルは完全に機能しなくなった。NVIDIAは、データセンターの「スーパーコンピューティング組立」を、サプライチェーンの「スーパーコンピューティング製造」段階へと前倒しした。現在、ラックはサプライチェーン内で組み立てられ、毎回2～3トンの重量で完成品として出荷される。これは、完成品が出荷される前のテスト段階において、サプライチェーン自体がギガワット（GW）級の膨大な電力供給能力を備えている必要があることを意味する。

ボトルネックになりやすいメモリ（Memory）分野について、ジェンスン・フアン氏は、約3年前、HBM（高帯域幅メモリ）の利用率は極めて低く、ごく少数のスーパーコンピュータでしか採用されていなかったと明かした。しかし彼は当時、複数の大手メモリメーカーのCEOを説得することに成功し、HBMが将来のデータセンターの主流になると確信させ、サプライチェーンに断固とした増産投資を促した。

さらに、彼は常識を打ち破り、サプライヤーに対し、本来はスマートフォン専用であった低消費電力メモリ（LPDDR）を改造し、スーパーコンピューティング分野に導入するよう推進した。

「推論とは思考である」：トレーニングやテスト時のスケーリングから「プロキシ型スケーリング」へ

AIのスケーリング法則（Scaling Laws）について、黄仁勲氏はAIのスケーリングを4つの「拡張法則」：事前学習、事後学習、テスト時の拡張、代理拡張。

彼は「データ枯渇」への懸念を振り返り、「我々はトレーニングデータを拡大し続ける……その多くは合成データになるだろう」と述べ、次のように判断を示した。「トレーニングはもはやデータに制限されず、データは計算能力に制限されるようになる。」」

推論側の計算能力の重要性については、彼はより率直にこう述べた。「推論とは思考のことだ。私は思考は難しいと思う……どうして計算リソースが少なくて済むはずがあるだろうか？」と述べた。彼は、テスト時の拡張には「推論、計画、探索」などが含まれ、推論における計算リソースの需要を押し上げると考えている。

最大の競争優位性、宇宙における計算リソースの課題、そしてマスク氏への評価

NVIDIAの最大の競争優位性について問われると、黄仁勲氏はCUDAの膨大な導入実績と信頼のエコシステムを明確に指摘した。

「これは3人の功績によるCUDAではなく、43,000人の従業員が共に推進してきたものだ。」ジェンスン・ホアン氏は、この競争優位性が、NVIDIAが基盤を継続的に最適化していることに対する数百万人の開発者の信頼の上に築かれており、さらに、世界中のあらゆるクラウドプロバイダー、OEM、エッジデバイスへと横断的に統合された極めて広範なエコシステムによって支えられていると強調した。

計算インフラの最先端における探求として、エネルギー配分問題を解決するためにデータセンターを宇宙に設置するという構想について、黄仁勲氏はNVIDIAのGPUがすでに宇宙に導入されていることを認めたが、現在は主に衛星の高解像度画像のエッジ側での選別処理に用いられている。

大規模な宇宙データセンターの構築について、黄仁勲氏はその核心となる物理的な課題を率直に指摘した。「宇宙には「宇宙空間には伝導も対流もなく、放射冷却に頼るしかない。極地には24時間365日太陽エネルギーがあるが、巨大な放熱器が必要になる。」現段階では、地球上の余剰電力をまず徹底的に活用することが最も現実的なアプローチだ。

さらに、あらゆる計算能力の構想を実現するには、極限のエンジニアリング実行力が不可欠だ。マスク氏が率いるxAIがわずか4ヶ月で10万枚のGPUを擁する「コロッサス」スーパーコンピューティングセンターを建設したことに対し、黄仁勲氏は市場主導型のインフラ構築という点で極めて高い評価を与えた。

彼はマスクの成功を、第一原理思考とミニマリズムに帰結させた。「彼はすべてに疑問を投げかける。『これは必要か？　こうしなければならないのか？　これほど時間がかかるのか？』」

黄仁勲氏は次のように述べた。「イーロンは多くの異なる分野で極めて深い造詣を持っており、同時に、彼は非常に優れたシステム思考の持ち主でもある」と述べた。さらに彼は、「彼はすべてを、これ以上削れない最低限の必要レベルまで縮小するまで、あらゆることに疑問を投げかけることができる……彼は自ら行動の最前線に立つ。これほど強い切迫感を持って自ら行動すれば、他のすべての人々もまた、切迫感を持って行動するようになる」と評価を続けた。

将来はAIを使える人しか採用しない？「世界のプログラマーは3000万人から10億人に急増する」

世界中の労働者が抱くAI技術への不安に対し、黄仁勲氏は極めて現実的な基準を示した。彼は、もし今日、新卒者2人のうち1人を選ばなければならないとしたら、AIについて何も知らない人ではなく、間違いなく「AIの専門家」を採用すると明言した。

黄仁勲氏は、この基準が技術職に限られるものではなく、会計士、弁護士、営業担当者、サプライチェーンマネージャー、薬剤師、さらには電気技師や大工にまで及ぶと強調した。彼によれば、あらゆる職種、あらゆる階層に例外はなく、AIをうまく活用する人がより高い付加価値を発揮することになるという。

彼はさらに、「置き換えられる」という境界線を明確にした。もしある人の仕事が本質的に一連の「タスク」（Task）であり、つまりタスクそのものがその人の貢献する価値のすべてであるならば、AIによって置き換えられることはほぼ必然だ。しかし、もしその仕事に、より深層にある「目的」（Purpose）があるならば、AIを活用して日常的な雑務を自動化することで、単なる「実行者」から、その業界の「革新者」へと飛躍することができる。

まだ着手していない人々に対して、黄仁勲は最も心強いアドバイスを送った。「もしAIの使い方が分からなければ、AIに『どうすればいいか』と尋ねればいい。『どうやって君を使えばいいの？』と尋ねてみればいい。AIが最初から最後まで、全プロセスを導いてくれるだろう。」彼は、今や参入のハードルはゼロにまで下がっており、唯一の障壁は「始めるかどうか」という決断だけだと考えている。なぜなら、この時代において、AIの進化に伴い「待つこと」のコストは日増しに高まっているからだ。

プログラマーに対して、黄仁勲は衝撃的な見解を提示した。「NVIDIAのソフトウェアエンジニアの数は減るどころか、増えるだろう……もしプログラミングの定義が『コンピュータに構築させるための仕様を記述すること』だとすれば、それを実行できる人の数は、3000万人から10億人に達する可能性が出てきた。将来、大工は皆プログラマーになり、配管工は皆、それに狂うことになるだろう。」

AGI（汎用人工知能）のタイムラインについて、もしAGIを「自律的にアプリケーションを開発し、収益を上げることができるシステム」と定義するなら、黄仁勲氏は次のように述べた。「それは今だと私は思う。我々はすでにAGIを実現しているのだ。」彼は、AIが自律的に作成したWebサービスやデジタルインフルエンサー向けアプリが、突然数十億人のユーザーを獲得し、利益を生み出すというシナリオを想定しており、これは現在すでに技術的に実現可能となっている。

インタビュー全文は以下の通りです：

ジェンスン・ホアン氏インタビュー文字起こし：NVIDIA——4兆ドルの企業とAI革命 | レックス・フリードマン（Lex Fridman）ポッドキャスト #494

紹介

レックス・フリードマン

(00:00:00) 続いては、NVIDIAのCEOであるジェンスン・ホアン氏との対談です。NVIDIAは人類文明史上最も重要で、最も影響力のある企業の一つであり、AI革命を推進する原動力です。NVIDIAの巨大な成功は、黄仁勲氏の純粋な意志力、そしてリーダー、エンジニア、イノベーターとしての数多くの卓越した賭けと決断に、直接帰する部分が大きいと言えます。こちらはレックス・フリードマンのポッドキャストです。親愛なる皆様、それでは黄仁勲氏をお迎えしましょう。

極限の協調設計とラックレベルエンジニアリング

レックス・フリードマン

(00:00:33) あなたはNVIDIAをAIの新たな時代へと導き、チップレベルの設計からラックレベルの設計へと焦点を移しました。

レックス・フリードマン

(00:00:42) 長年にわたり、NVIDIAの強みは可能な限り完璧なGPUを構築することにあった、と公平に言えると思います。現在もそれは変わりませんが、今ではその範囲をGPU、CPU、メモリ、ネットワーク、ストレージ、電源、冷却、ソフトウェア、ラック自体、そして発表された「Pod（コンピュート・ポッド）」、さらにはデータセンター全体にまで拡大し、極限の協調設計を行っています。この「極限の協調設計」についてお話ししましょう。これほど多くの複雑なコンポーネントと設計変数を持つシステムを協調設計する際、最も困難な部分は何でしょうか？

ジェンスン・ホアン

(00:01:11) ご質問ありがとうございます。極限の協調設計が必要とされる理由は、現在の課題が単一のコンピュータに収まりきらず、単一のGPUだけで高速化できなくなっているからです。解決しようとしている課題は、計算速度の向上を、追加するコンピュータ台数以上のものにすることです。例えば、1万台のコンピュータを追加したとしても、速度を100万倍に高めたいと仮定しましょう。すると突然、アルゴリズムを抽出し、分解・再構築し、パイプラインを分割し、データを分割し、モデルを分割しなければならなくなります。このように分散的に問題を処理する場合、単に問題の規模を拡大するだけでなく、問題を分散させることになるため、すべての段階がボトルネックとなります。

ジェンスン・ホアン

(00:02:03) これがアムダールの法則（Amdahl's law）の問題点です。あるタスクの高速化の度合いは、それが総作業量に占める割合によって決まります。もし計算が問題の50%を占めている場合、たとえ計算速度を無限に（例えば100万倍）向上させたとしても、作業全体の速度は2倍にしかなりません。ここで突然、計算タスクを割り当てるだけでなく、何らかの方法でパイプラインを分割するだけでなく、すべてのコンピュータが相互に接続されているため、ネットワークの問題も解決しなければなりません。私たちのような規模で分散計算を行う場合、CPUも問題であり、GPUも問題であり、ネットワークも問題であり、スイッチも問題です。これらすべてのコンピュータにワークロードを割り当てることも同様に問題となります。

ジェンスン・ホアン

(00:02:57) これは極めて複雑なコンピュータサイエンスの問題です。我々はあらゆる技術の力を最大限に活用しなければなりません。そうしなければ、線形的な拡張しかできず、あるいはムーアの法則に依存して拡張することになります。しかし、デナードの法則（Dennard scaling）の鈍化に伴い、ムーアの法則はすでに大きく停滞しています。

ジェンスン・ホアンはNVIDIAをどのように管理しているか

レックス・フリードマン

(00:03:16) そこには間違いなくトレードオフがあります。しかも、皆さんは全く異なる分野を扱っています。高帯域幅メモリ、ネットワークとNVLink、ネットワークカード、光ファイバーと銅線接続、電源、冷却など、これらの分野には皆さんが専門家を擁していることは間違いありません。これらはすべて世界トップクラスの専門家たちです。あなたはどのようにして彼らを一つの部屋に集め、方向性を明確にしているのですか——

ジェンスン・黄

(00:03:34) だからこそ、私の経営陣はこれほど大規模なのです。

レックス・フリードマン

(00:03:37) 専門家とジェネラリストの協業プロセスはどのようなものですか？どの要素をラックに組み込む必要があるかが明確になった際、どのようにしてラックを組み立てているのですか？それらをすべて統合して設計するプロセスはどのようなものですか？

ジェンスン・ホアン

(00:03:51) まず問うべきは、「極限の協調設計とは何か」ということです。私たちは、アーキテクチャからチップ、システム、システムソフトウェア、そしてアルゴリズムやアプリケーションに至るまでのソフトウェアスタック全体を最適化しています。これが一つの側面です。先ほどお話しした第二の側面は、CPU、GPU、ネットワークチップを超え、スケールアップ型スイッチやスケールアウト型スイッチにまで及びます。もちろん、電力供給や冷却といった要素も考慮に入れる必要があります。なぜなら、これらすべてのコンピュータは極めて多くの電力を消費するからです。膨大な処理をこなすためエネルギー効率は非常に高いものの、全体としては依然として大量の電力を消費します。したがって、最初の疑問は「それは何か？」ということです。

ジェンスン・ホアン

(00:04:34) 2つ目の疑問は「なぜそれが必要なのか？」です。その理由については先ほど議論しました。単にコンピュータの数を増やすこと以上の利益が得られるように、ワークロードを分散させたいのです。3つ目の質問は、「どのように実現するのか？」です。具体的にどうやるのでしょうか？

ジェンスン・ファン

(00:04:51) これは、この会社の奇跡と言えるでしょう。コンピュータを設計する際には、オペレーティングシステムが必要です。会社を設計する際には、まずその会社に何を生み出させたいかを考えるべきです。私は多くの企業の組織図を見てきましたが、どれも似たり寄ったりです。ハンバーガー型組織図、フラット型組織図、さらには自動車メーカーの組織図でさえ、まるで同じように見えます。私にはこれには何の意味もありません。企業の目標は、成果を生み出す機械、メカニズム、そしてシステムになることです。その成果こそが、私たちが作り出したい製品なのです。企業構造の設計は、その企業が置かれている環境を反映すべきです。

黄仁フン

(00:05:36) これは、組織構造をどのように設定すべきかをほぼ直接決定づけるものです。私に直接報告する管理チームは60人います。彼らと1対1の面談を行うことはありません。それは不可能なことだからです。仕事を成し遂げたいのであれば、チームに60人もいて一人ひとりと対話することは不可能です——

レックス・フリードマン

(00:05:51) それでも、あなたには60人の直属の部下がおり、しかも——

ジェンスン・ファン

(00:05:53) それ以上です。

レックス・フリードマン

(00:05:54) さらに多いですね。しかも、スター社員のほとんどは少なくともエンジニアリング分野にも携わっています。

ジェンスン・ファン

(00:05:59) ほぼ全員がそうです。メモリの専門家もいれば、CPUの専門家、光学の専門家もいます。

レックス・フリードマン

(00:06:06) 信じられないですね。

ジェンスン・ホアン

(00:06:06) それに、GPU、アーキテクチャ、アルゴリズム、設計などの分野の専門家もいます。

レックス・フリードマン

(00:06:11) つまり、あなたは常に技術スタック全体を注視し、その設計について激しい議論を交わさなければならないということですね？

ジェンスン・ファン

(00:06:18) 1対1で進められる議論など一度もありません。だからこそ、私は1対1のミーティングを行わないのです。私たちは問題を提起し、全員でそれを解決します。なぜなら、私たちは「極限の共同設計」を行っているからです。誇張ではなく、当社では常に「極限の共同設計」が行われています。

レックス・フリードマン

(00:06:33) 冷却やネットワークといった特定のコンポーネントについて議論している場合でも、全員が傍聴しているのですか？

ジェンスン・ホアン

(00:06:40) その通りです。

レックス・フリードマン

(00:06:41) そして彼らは意見を述べることができます。「これは配電には適していない。これは適していない――」と。

ジェンスン・ファン

(00:06:45) その通りです。

レックス・フリードマン

(00:06:45) 「……これはメモリには向かない。あれには向かない。」

ジェンスン・ファン

(00:06:49) その通りです。聞きたくない人は聞かなくてもいいのです。なぜなら、チームメンバーはいつ集中すべきかを知っているからです。もし彼らが貢献できるはずだったのにしなかった場合、私は名指しで批判する。だからこう言うんだ。「おい、こっちに来て、議論に参加しろ」と。

レックス・フリードマン

(00:07:07) ご指摘の通り、NVIDIAは環境に適応する企業です。環境が変化し、会社が静かに適応し始めたのは、どの時点だとお考えですか？初期のゲーム用GPUから、ディープラーニング革命の初期を経て、今ではAI工場として見なされ始めている現在まで。NVIDIAは何をしているのでしょうか？AIを生産しているのです。さあ、AIを生産する工場を作りましょう。

ジェンスン・ホアン

(00:07:32) このプロセスを体系的に推論することができます。私たちは当初、アクセラレータ企業でした。しかし、アクセラレータの問題点は、応用分野が狭すぎるということです。その強みは、特定の作業に対して極限まで最適化されている点にあります。どんな専門家にもこの強みがあります。極端な専門化の問題点は、市場範囲が狭くなることですが、それ自体は問題ではありません。真の問題は、市場規模が研究開発能力を決定してしまうことです。そして、研究開発能力こそが、最終的にコンピューティング分野においてどのような影響力を発揮できるかを決定づけるのです。私たちが当初、非常に具体的なアクセラレータとしてとしてスタートした際、それが第一歩に過ぎないことは常に理解していました。

ジェンスン・ホアン

(00:08:23) 私たちは、アクセラレータ・コンピューティング企業となる方法を見つけなければなりませんでした。問題は、コンピューティング企業になると、目標が汎用的になりすぎて、専門性が損なわれてしまうことです。私は、実際には根本的に相反するこの2つの言葉を結びつけました。私たちがコンピューティング企業として成功すればするほど、専門家としてのパフォーマンスは低下します。専門家としての側面が強まれば強まるほど、全体的なコンピューティングを行う能力は弱まります。私は意図的にこの2つの言葉を結びつけました。これは、計算の範囲を広げつつ、私たちが持つ最も重要な専門能力を放棄しないという、極めて狭い道を、会社が一歩一歩見つけ出さなければならないことを意味します。アクセラレータを超えるための第一歩として、私たちはプログラマブル・ピクセル・シェーダーを発明しました。

ジェンスン・ファン

(00:09:13) これがプログラマビリティへの第一歩でした。これは、私たちが計算の世界へと踏み出した最初の旅路でした。私たちが次に実施したのは、単精度浮動小数点数（FP32）をシェーダーに導入することでした。IEEE規格に準拠したFP32のサポートは、計算の方向への大きな一歩でした。これが、ストリームプロセッサやその他のデータストリームプロセッサの開発に携わるすべての人々が私たちに注目した理由でもあります。彼らはこう言いました。「突然、私たちはこの計算集約型で、かつIEEE規格に準拠したGPUを使えるかもしれない」

ジェンスン・ファン

(00:09:55) 「以前CPU向けに書いたソフトウェアを流用し、GPUで動作するかどうか試してみることができる」という考えが生まれました。これがきっかけとなり、FP32の上にC言語の機能を追加することになりました。私たちはこれを「Cg」と呼んでいます。Cgの開発プロセスは、最終的に私たちをCUDAへと導きました。一歩一歩、私たちはCUDAをGeForceに導入していきました。これは非常に挑戦的な戦略的決断でした。なぜなら、それは会社に多大な利益を費やすことになり、当時の私たちには到底負担できないことだったからです。しかし、私たちはそれでも実行しました。なぜなら、私たちはコンピューティング企業になりたかったからです。コンピューティング企業には、コンピューティングアーキテクチャが必要です。そして、そのアーキテクチャは、私たちが製造するすべてのチップと互換性を持たなければなりません。

レックス・フリードマン

(00:10:42) その決定について詳しくお聞かせいただけますか？GeForceにCUDAを搭載する——負担に耐えられないと分かっていながら、それでも実行すると決めたのですか？その決断について説明していただけますか？なぜそのような選択を敢行できたのですか？

ジェンスン・ホアン

(00:10:53) あれは、まさに会社の存亡を左右すると言える最初の戦略的決断でした。

レックス・フリードマン

(00:11:06) この経緯をご存じない方のために少しネタバレすると、後になって、これは同社の歴史上、最も輝かしく、最も賢明な決断の一つであったことが証明されました。CUDAは、AIインフラの世界において、信じられないほどの計算基盤となりました。つまり、背景を整理すると、これは最終的に正しい決断だったのです。

ジェンスン・ファン

(00:11:27) はい、後になってこれは良い決断だったことが証明されました。経緯はこうです。私たちはCUDAというものを発明し、それによって当社のアクセラレータが高速化できるアプリケーションの範囲を広げました。問題は、どうすれば開発者を惹きつけてCUDAを使ってもらえるか、ということでした。なぜなら、コンピューティングプラットフォームの中核は開発者だからです。開発者は、単にプラットフォームが面白い操作を実行できるという理由だけでやってくるわけではありません。彼らがあるコンピューティングプラットフォームに集まるのは、そのプラットフォームのインストールベースが大きいからです。開発者も他の人々と同様、多くのユーザーに届くソフトウェアを開発したいと考えているからです。インストールベースは、実際にはアーキテクチャにおいて最も重要な要素の一つです。このアーキテクチャ自体は、多くの批判を招く可能性もあります。

ジェンスン・ファン

(00:12:18) 例えば、x86ほど批判を受けてきたアーキテクチャは他にありません。x86は洗練されていないアーキテクチャだと見なされていますが、それでも今日の標準的なアーキテクチャとなっています。これが一例です。実際、世界で最も優秀なコンピュータ科学者たちによって設計された、極めて洗練された多くのRISCアーキテクチャは、大部分が失敗に終わりました。私が挙げたこの2つの例、一方は洗練されており、もう一方はかろうじて使える程度でしたが、x86が生き残った理由は――

レックス・フリードマン

(00:12:58) 導入台数がすべてです。

ジェンスン・ホアン

(00:12:59) 出荷台数がアーキテクチャを定義する。他のすべては二次的なものだ、分かるか？当時は他にもアーキテクチャがあった。CUDAが登場し、OpenCLもあった。いくつかの競合アーキテクチャが存在した。しかし我々が下した正しい決断は、こう言ったことだ。「いいか、結局のところこれは出荷台数の問題だ。新しいコンピューティングアーキテクチャを世界に広める最善の方法は何か？」その頃、GeForceはすでに成功を収めていた。

ジェンスン・フアン

(00:13:29) 私たちはすでに毎年数百万台のGeForce GPUを販売できていました。私たちはこう言いました。「CUDAをGeForceに搭載し、顧客が使うかどうかに関わらずすべてのPCに組み込み、それをインストールベースを拡大するための出発点とすべきだ。」同時に、開発者を惹きつけ、大学で本を執筆したり講義を開いたりして、あらゆる場所にCUDAを広めていきました。次第に、人々はそれに気づき始めました。当時はPCが主要な計算ツールであり、クラウドはまだ存在していませんでした。私たちは、スーパーコンピュータを学校の研究者一人ひとり、科学者一人ひとり、工学部の各学科、そして学生一人ひとりの手に届けることができたのです。最終的に、必ずや奇跡が起こるはずです。

ジェンスン・ホアン

(00:14:15) 問題は、CUDAがコンシューマー向け製品であるGPUのコストを大幅に押し上げ、会社の粗利益をすべて食い尽くしてしまったことです。当時の時価総額はおよそ80億ドル？それとも60～70億ドルだったでしょうか？CUDAをリリースした際、コストが大幅に増加することは認識していましたが、これは私たちが確信していたことでした。当社の時価総額は一時、約15億ドルまで下落しました。しばらく底辺をさまよった後、徐々に回復しましたが、私たちはGeForceへのCUDA搭載を貫きました。私はいつも、NVIDIAはGeForceによって築かれた殿堂だと言っています。なぜなら、GeForceこそがCUDAをすべての人々に届けたからです。

ジェンスン・ホアン

(00:15:10) 研究者や科学者がGeForceでCUDAを発見したのは、彼らの多くがゲーマーでもあったからです。多くの人は、どうせ自分でPCを組み立てる必要がありました。大学の研究室では、多くの人がPCパーツを使って自らクラスターを構築していました。私たちはそうやってスタートしたのです。

レックス・フリードマン

(00:15:31) そして、それがディープラーニング革命のプラットフォームと基盤となったのです。

ジェンスン・ホアン

(00:15:35) それもまた、非常に素晴らしい洞察でした。

レックス・フリードマン

(00:15:38) あの生死を分けるような局面で、当時の会議の様子を覚えていますか？会社としてすべてを賭けてリスクを取る決断を下す際、どのような議論が交わされたのでしょうか？

ジェンスン・フアン

(00:15:48) 取締役会に対して、私たちが何をしようとしているのかを説明しなければなりませんでした。経営陣も、粗利益率が圧迫されることは承知していました。想像してみてください。GeForceがCUDAのコストを背負いながらも、それを評価してくれるゲーマーはおらず、そのために金を払おうとするゲーマーもいないという世界を。彼らは特定の価格しか支払おうとせず、あなたのコストがいくらであろうと全く気にしないのです。私たちはコストを50%増やしましたが、もともと当社は粗利益率35%の企業でした。ですから、この決断を下すのは非常に困難でした。しかし、いつの日かそれがワークステーションやスーパーコンピュータに採用され、そうした分野でより高い利益を得られるようになるかもしれないと想像できるでしょう。

ジェンスン・ファン

(00:16:36) ですから、理屈でこの代償は許容できると自分に言い聞かせることはできますが、それでも10年もの時間を要しました。

レックス・フリードマン

(00:16:45) それはむしろ取締役会とのコミュニケーションや説得の問題でしたが、心理的な面では、NVIDIAが未来を予測する大胆な賭けを続け、ある意味で、特に現在において未来を定義していると言えるでしょう。こうした意思決定を行い、会社を飛躍へと導くことができたのは、どのような知恵によるものなのか、お聞きしたいのですが。

ジェンスン・ホアン

(00:17:14) まず、私には非常に強い好奇心があります。ある時点で、ある推論システムが、この結果が必ず起こるのだと私に確信させてくれます。それは必然的に起こるのです。ですから、私の心の中では確信しています。心の中で確信している時、それがどのようなものかはご存知でしょう。頭の中で未来を鮮明に描き出し、その未来があまりにも説得力があるため、それが起こらないはずがないのです。その過程では多くの困難がありますが、信念を貫かなければなりません。

レックス・フリードマン

(00:17:52) つまり、未来を構想し、本質的にはエンジニアリングの観点から、それを現実のものにしたということですね？

ジェンスン・ファン

(00:17:59) そうです。どうすればそこに到達できるかを推論するのです。なぜそれが存在しなければならないのかを推論するのです。私たちはここで一緒に推論します。経営陣も推論します。私自身も多くの時間を推論に費やします。次の段階は、おそらくマネジメントスキルに関わる部分でしょう。通常、経営層では、リーダーは沈黙を守ったり、あるいは何かを把握した上で、「今年は新たな年だ。来年末までに全く新しい計画を立てよう」といった宣言を行います。ここで大規模な人員削減を行い、あそこで組織の大規模な再編を行い、新しいミッションステートメントを掲げ、新しいロゴをデザインするといった具合です。

ジェンスン・ファン

(00:18:43) 私は決してそうはしません。何かを知り、それが私の思考に影響を与え始めたとき、私は周囲の全員に明確にこう伝えます：『これは興味深い。変化をもたらすだろう。あれに影響するだろう』と。私は一歩一歩、論理的に推論していく。多くの場合、私はすでに決断を下しているが、しかし、あらゆる可能性のある機会——外部情報、新たな洞察、新たな発見、エンジニアリング上の新たな気づき、新たに設定されたマイルストーン——を捉え、それらを利用して他者の信念体系を形作っていきます。私はほぼ毎日そうしています。取締役会に対しても、経営陣に対しても、従業員に対してもそうしています。

ジェンスン・ファン

(00:19:33) 私は彼らの信念体系を形成しようと努めている。そうすれば、いつか私が「ねえ、Mellanoxを買収しよう」と言ったとき、皆が「それは当然だ、絶対に買収すべきだ」と感じるようになるからだ。私が「みんな、ディープラーニングに全力を注ごう」と言い、その理由を説明するとき、実はすでに社内の各組織に向けて土台を築き終えているのだ。どの組織も、一人ひとりも、何かしら情報を耳にしていたでしょう。ほとんどの人はその断片を聞いていました。私が発表する日が来た時、誰もがすでにその多くを受け入れていたのです。

黄仁勲

(00:20:19) 多くの点で、私がこうしたことを発表した時、社員たちがこう言っているのが想像できました：「ジェンス・黄、なぜ今になって言うんだ？」と。実のところ、私はずっと彼らの信念体系を形作ってきたのです。つまり、リーダーシップとは、時には後ろから導いているように見えることもありますが、実は常に彼らを形作っているのです。私が発表するその日まで、全員が100％納得するまで。しかし、これこそが望む結果なのです。全員を一緒に前進させたいのです。そうでなければ、もし私たちが突然ディープラーニングに関する計画を発表したとしたら、誰もが「何のことを言っているんだ？」と言うでしょう。もし何かに全力を注ぐと発表すれば、経営陣、取締役会、従業員、顧客はこう思うでしょう。「これはどこから出てきたんだ？」

黄仁勲

(00:21:02) 「これは狂っている。」過去のGTCカンファレンスを振り返り、基調講演を見てみると、実は私は業界内のパートナーの信念体系を同時に形成していたのです。そして、それを利用して従業員の信念体系も形成していました。ですから、私が何かを発表する時、例えば先ほど発表したGroqのように、実は過去2年半の間、私はその関連する基礎についてずっと話していたのです。過去を振り返ると、「なんてこった、彼らはもう2年半もこの話をしていたんだ」と気づくでしょう。私は一歩一歩土台を築いてきたので、発表のタイミングが来た時、皆が「なぜそんなに時間がかかったんだ？」と言うのです。

レックス・フリードマン

(00:21:44) しかし、これは単に社内の話ではありません。あなたは業界全体、そしてより広範なグローバルなイノベーションの枠組みを形作っているのです。こうしたアイデアを世に送り出すことで、あなたは現実を具現化しているのです。

ジェンスン・ホアン

(00:21:53) 私たちはコンピュータを製造しているわけではありません。実際、クラウドを構築しているわけでもありません。私たちはもともとコンピューティング・プラットフォーム企業でした。ですから、私たちから直接完成品を購入できる人は誰もいません。これは実に不思議なことです。設計と最適化を行うために垂直統合を行っていますが、各レイヤーにおいてプラットフォーム全体を完全にオープンにし、他社の製品、サービス、クラウド、スーパーコンピュータ、OEMコンピュータに統合できるようにしています。ですから驚くべきことに、彼らを先に説得しなければ、私が今やっていることは全く成し遂げられなかったでしょう。GTCの主な役割は未来を示すことであり、製品が準備できた時には、彼らが「なぜこれほど遅くまで出さなかったんだ？」と言うほどなのです。

AIのスケーリング法則

レックス・フリードマン

(00:22:39) そうですね。あなたは長い間、一般化されたスケーリング法則（Scaling Laws）の信奉者でした。今でもその法則を信じていますか？

ジェンスン・ホアン

(00:22:49) はい。今では、より多くのスケーリング法則が存在しています。

レックス・フリードマン

(00:22:51) あなたはスケーリングの法則を4つの段階、すなわち事前学習、事後学習、テスト時間（推論）、そしてエージェント（Agentic）スケーリングにまとめたと思います。未来について考えるとき、遠い未来や近い未来について考える際、あなたが最も懸念し、夜も眠れなくなるほど心配し、さらなる拡張のために克服しなければならない障害は何ですか？

ジェンスン・ホアン

(00:23:12) かつて人々が障壁だと考えていた要因を振り返ってみましょう。最初の「事前学習のスケーリング法則」の段階では、人々は当然のこととして、手元にある高品質なデータの量が、到達可能な知能レベルを制限すると考えていました。このスケーリング法則は非常に重要です。モデルが大きくなればなるほど、それに応じてより多くのデータが、より賢いAIをもたらすのです。これが事前学習です。当時、イリヤ・スツケヴェル（Ilya Sutskever）は「データが尽きた」とか、そのようなことを言っていました。「事前学習は終わった」と。業界全体がパニックに陥り、これがAIの終焉だと考えました。しかし、それは明らかに真実ではありませんでした。

ジェンスン・ホアン

(00:23:57) 私たちはトレーニング用のデータ量を増やし続けています。そのデータの多くは合成データ（Synthetic）である可能性があり、これも人々を困惑させています。人々は気づいていないか、あるいは忘れてしまっているが、私たちが互いに教え合い、情報を共有するために使っているデータの大部分も、実は「合成」されたものだ。それは自然界から直接生まれたものではないため、合成されたものと言える。あなたがそれを作り出し、私がそれを消費し、修正し、強化し、再生成し、そして他の誰かがそれを消費する。私たちは今や、AIが「グラウンド・トゥルース（Ground Truth）」を取得し、それを強化できるレベルに達している……合成によって膨大なデータが生み出される。

ジェンスン・ファン

(00:24:47) ポストトレーニングの分野は拡大し続けているため、私たちが利用できる人間が生成したデータの量はますます少なくなっていくでしょう。モデルを訓練するために使用するデータ量は、データに制約されなくなるまで増え続けるでしょう……現在、トレーニングは計算能力によって制約されています。その理由は、データの大部分が合成されているからです。そして次の段階はテスト時間（推論）ですが、人々が私にこう言っていたのを覚えています。「推論？ああ、それは簡単だよ。事前学習の方が難しいんだ。あれは巨大なシステムだからね。推論は間違いなく簡単だ。だから推論用チップは、ちょっとした小さなチップで済むはずだ――」

ジェンスン・ホアン

(00:25:32) 「NVIDIAのチップのようにはならないだろう。あれは複雑すぎるし、高価すぎる。将来、推論は最大の市場となり、それは非常にシンプルになり、我々はそれを商品化するだろう。誰もが自分専用のチップを作れるようになる。」これは私にとって常に論理的ではなかった。なぜなら、推論とは思考そのものであり、私は思考は難しいものだと考えているからだ。考えることは、読むことよりもはるかに難しい。

ジェンスン・ファン

(00:25:59) 事前学習は単なる記憶と汎化であり、関係性の中からパターンを探すことです。ただひたすら読み続けているに過ぎません。一方、テスト時のスケーリング（推論）は、思考、推論、問題解決を伴います。未開拓の経験や新しい経験を解決可能な断片に分解し、第一原理から推論したり、あるいは過去の事例や経験に基づいて解決します。あるいは単に探索し、検索し、異なる方法を試すこともあります。推論段階におけるテストタイムスケーリングのプロセス全体は、実際には「思考」に関するものです。それは推論、計画、そして探索に関するものです。

黄仁勲

(00:26:50) これがどうして低計算コストなはずがあるだろうか？この点に関しては我々の見解は完全に正しい。テスト時間のスケーリングは極めて計算リソースを消費する。次の問題は、現在我々が推論とテスト時間のスケーリング段階にあるとして、その先には何があるのかということだ。明らかに、私たちは今、「人間」というエージェントを創り出しました。この「人間」というエージェントは、私たちが開発した大規模言語モデルを備えています。しかしテスト期間中、このエージェントシステムは調査を行い、データベースを参照し、様々なツールを使用します。そして、その最も重要な役割の一つは、大量のサブエージェント（Sub-agents）を派生させ、生成することです。これは、私たちが巨大なチームを編成していることを意味します。NVIDIAを拡大するために従業員を増やすことよりも、自分自身を拡張するよりもはるかに容易です。

ジェンスン・ホアン

(00:27:44) したがって、次のスケーリング法則は「エージェント的スケーリング法則（Agentic Scaling Law）」。これはまるでAIを複製するようなものです。私たちは思いのままに、素早くエージェントを生み出すことができます。そこで、私は4つの次元からなるスケーリング法則をまとめました。エージェントシステムを使用すると、それらはより多くのデータを生み出し、膨大な経験を生み出します。そのうちのいくつかについては、「わあ、これは本当に素晴らしい。これは覚えておくべきだ」と言うでしょう。

ジェンスン・ホアン

(00:28:12) そして、このデータセットは再び事前学習段階に戻ります。私たちはそれを記憶し、一般化します。その後、ポストトレーニング段階で微調整と改良を行います。続いて、テストフェーズとエージェントシステムを活用してさらに強化し、業界へ展開します。このサイクルは絶えず繰り返されます。結局のところ、知能レベルは、ある一つの要素、すなわち計算能力によって拡張されるのです。

レックス・フリードマン

(00:28:41) しかし、ここには厄介な問題があります。一部のコンポーネントは最適な状態で動作させるために異なる種類のハードウェアを必要とするため、未来を予測しなければならないのです。ですから、AIのイノベーションがどこへ向かうかを予測しなければなりません。例えば、混合エキスパートモデル（MoE）――

ジェンスン・ホアン

(00:28:57) その通りです。

レックス・フリードマン

(00:28:58) スパース性を持つモデルですね。

ジェンスン・ホアン

(00:28:59) その通りです。

レックス・フリードマン

(00:29:00) ハードウェアは1週間で簡単に交換できるものではありません。将来の形態を予測しなければなりません。それを実現するのは非常に恐ろしく、また困難なことですよね？

ジェンスン・ホアン

(00:29:09) 例えば、これらのAIモデルのアーキテクチャはおよそ6ヶ月ごとに更新されます。一方、システムアーキテクチャやハードウェアアーキテクチャは、およそ3年ごとに更新されます。ですから、2、3年後に何が起こるかを予測する必要があります。これを実現するにはいくつかの方法があります。まず、社内で研究を行うことです。これが、私たちが基礎研究と応用研究の両方を行っている理由でもあります。

ジェンスン・ファン

(00:29:40) 私たちは独自のモデルを構築しています。そのため、ここには第一線の現場経験があります。これが、私が述べた「共同設計」の一部です。また、私たちは世界中のほぼすべてのAI企業と提携している、世界で唯一のAI企業でもあります。私たちは、できる範囲で、人々がどのような課題に直面しているかを把握しようと努めています。

レックス・フリードマン

(00:29:59) つまり、業界全体や主要なAI研究所からの声に耳を傾けているわけですね。

ジェンスン・ホアン

(00:30:02) その通りです。耳を傾け、すべての人から学ぶ必要があります。最後のポイントは、柔軟で、時代の流れに合わせて変化できるアーキテクチャを持つことです。CUDAの利点の一つは、一方で極めて強力なアクセラレータである一方で、非常に柔軟であるという点です。この、専門性（そうでなければCPUを加速できない）と汎用性（絶えず変化するアルゴリズムに適応するため）との間の驚くべきバランスは、極めて重要です。これこそが、CUDAが極めて強靭である一方で、私たちが絶えずそれを強化し続けられる理由でもあります。

ジェンスン・ホアン

(00:30:44) 現在、私たちはCUDA 13.2の段階に至っています。アーキテクチャの進化のスピードは非常に速く、現代のアルゴリズムの進歩に追いつくことができています。例えば……混合エキスパートモデル（MoE）が登場した際、これが私たちが NVLink 8 ではなく NVLink 72 をリリースした理由です。現在では、4兆、10兆のパラメータを持つモデルを、あたかも1つのGPU上で実行しているかのように、1つのコンピュートドメインに収めることができます。私がこの発言をしたことに気づいていない方もいるかもしれませんが、しかし、Grace Blackwellラックのアーキテクチャをご覧になれば、それがたった一つのこと、つまり大規模言語モデル（LLM）の処理に完全に特化していることがお分かりいただけるでしょう。それからわずか1年後、Vera Rubinラックが登場しました。そこにはストレージアクセラレータと、Veraと呼ばれる優れた新しいCPUが搭載されています。Vera RubinとNVLink 72を搭載し、LLMを実行します。

ジェンスン・ホアン

(00:31:46) さらに、「Rock」と呼ばれる全く新しい追加ラックも備えています。つまり、このラックシステム全体は前世代とは全く異なり、これらすべての新しいコンポーネントを含んでいるのです。その理由は、前世代のシステムがMoE（モデル・オブ・エピジェネシス）大規模言語モデルの推論を実行するために設計されていたのに対し、今世代はエージェントを実行するためのものであり、エージェントは様々なツールを呼び出すからです。

レックス・フリードマン

(00:32:10) 明らかに、このシステムの設計はOpen-ClaudeやCodexなどが登場する前に完了していたはずです。つまり、本質的には未来を予測していたわけですね。これは何に基づいていたのでしょうか？業界内の噂話でしょうか、それとも技術の最先端に対する理解でしょうか？

ジェンスン・ホアン

(00:32:25) いいえ。

レックス・フリードマン

(00:32:25) そうではないのですか？

ジェンスン・ホアン

(00:32:26) それほど複雑ではありません。推論すればいいだけです。何が起ころうとも、もしある時点で大規模言語モデル（LLM）をデジタルワーカーにしたいとすれば……この比喩を使ってみましょう。LLMをデジタルワーカーにしたいと仮定します。それには何が必要でしょうか？「グラウンド・トゥルース（Ground truth）」にアクセスできなければなりません。それが私たちのファイルシステムです。調査を行う能力も必要です。AIがすべてを知り尽くすことは不可能です。過去、現在、未来のすべてについてAIが全知全能になるのを待ってから活用するつもりはありません。ですから、調査を行わせる方が賢明です。明白なことです。もしそれが私を助けたいのなら、私のツールを使わなければなりません。

ジェンスン・ホアン

(00:33:13) 多くの人がこう言います。「AIはソフトウェアを完全に破壊するだろう。もうソフトウェアは必要ない。ツールさえも不要になる。」これはあまりにも馬鹿げた話です。思考実験をしてみましょう。あなたはそこに座って、ウイスキーを一杯飲みながら、これらすべてのことを考えてみてください。そうすれば、すべてが明らかになるはずです。もし今後10年以内に、想像しうる最も素晴らしい知能体を作り出すとしたら、それがヒューマノイドロボットだと仮定しましょう。もしそのヒューマノイドロボットが作られたとして、私の家に入ってきて、私の既存のツールを使って仕事をこなす可能性の方が高いでしょうか？

ジェンスン・ホアン

(00:33:54) それとも、ある場面ではその手が10ポンドのハンマーに変わり、別の場面ではメスに変わり、お湯を沸かすために指からマイクロ波を発射するのでしょうか？あるいは、むしろ電子レンジを直接使う可能性が高いのでしょうか？初めて電子レンジの前に立った時、使い方が分からないかもしれない。でも大丈夫だ。インターネットに接続されている。その電子レンジの取扱説明書を読み込み、読み終えた瞬間に専門家になる。そうすれば、使いこなせるようになる。私が今説明したことは、実のところOpen-Claudeのほぼすべての特性を網羅していると思う。

黄仁勲

(00:34:35) それはツールを使い、ファイルにアクセスし、調査を行うことができます。IOサブシステムも備えています。このように推論を終えた時、あなたはこう言うでしょう。「なんてことだ、これは未来のコンピューティングに極めて深遠な影響を与える。」その理由は、私たちが今まさにコンピュータを再発明したと思うからです。そして今、あなたはこう尋ねるでしょう。「さて、私たちはいつこれを推論したのか？いつOpen-Claudeを推論したのか？」と。私がGTCカンファレンスで示したOpen-Claudeの概念図を見れば、それが2年前のことだとわかるでしょう。ちょうど2年前のGTCで、私はエージェントシステムについて語っていましたが、それは今日のOpen-Claudeと完全に一致しています。もちろん、多くの要素が結びついて初めて実現するものです。

ジェンスン・ホアン

(00:35:26) まず、ClaudeやGPT、そしてこれらすべてのモデルが一定の能力レベルに達する必要があります。したがって、それらの革新、ブレークスルー、そして継続的な進歩が非常に重要です。そしてもちろん、私たち全員が実際に使えるように、十分に堅牢で完全なオープンソースプロジェクトを誰かが作成しなければなりません。Open-Claudeがエージェントシステムに与える影響は、ChatGPTが生成的システムに与えた影響と同じものだと考えています。これは非常に重要なことだと考えています。

レックス・フリードマン

(00:36:02) そうですね、これは非常に特別な瞬間です。なぜこれほど世界中から注目を集めているのかは定かではありませんが、確かにそうなっており、Claude CodeやCodexなどよりもさらに注目を集めています。

ジェンスン・ホアン

(00:36:12) 消費者が実際に触れることができるからです。

レックス・フリードマン

(00:36:13) 確かに。しかし、それはある程度、雰囲気という要素も大きいですね。ピーター（Peter）は以前、私のポッドキャストにゲストとして招いたことがありますが、素晴らしい人物です。ですから、その製品を代表する人物がもたらす影響も一因となっています。

ジェンスン・ファン

(00:36:25) 間違いありません。

レックス・フリードマン

(00:36:25) その一因はミーム（Memes）にあり、私たちは皆、その仕組みを理解しようとしています。これほど強力な技術を持つとき、データをどのように引き渡せば、それらが有益な働きをするようになるのか？ここには極めて深刻かつ複雑なセキュリティ上の問題が存在し、それに関連する事柄も恐ろしいものです。個人としても、文明としても、私たちは正しいバランスを見つける方法を模索している最中です。

ジェンスン・ファン

(00:36:44) はい、私たちは直ちに行動を起こし、多くのセキュリティ専門家を派遣しました。私たちは「OpenShell」というプロジェクトを立ち上げました。これはすでにOpen-Claudeに統合されています。

レックス・フリードマン

(00:36:55) NVIDIAはNemoClaw（注：ここではNVIDIA関連のセキュリティツールを指す）をリリースしました。

ジェンスン・ホアン

(00:36:58) その通りです。

レックス・フリードマン

(00:36:59) インストールは非常に簡単で、セキュリティを確保できます。

ジェンスン・ファン

(00:37:03) 3つの権限のうち2つを付与します。エージェントシステムは機密情報にアクセスし、コードを実行し、外部と通信することができます。これら3つの能力のうち、いつでも3つすべてではなく2つだけを付与することで、セキュリティを保証できます。付与されたこれら2つの機能について、企業があなたに与えた権限に基づいてアクセス制御を行います。そして、それを企業がすでに保有しているすべてのポリシーエンジンに連携させます。したがって、私たちはOpen-Claudeをより良いものにするために最大限の努力を尽くします。

AIスケーリングの法則における最大の障壁

レックス・フリードマン

(00:37:40) あなたは、かつて障害と見なされていたものの、最終的には克服してきた長い歴史について雄弁に説明してくださいました。しかし、今、未来を見据えると、インテリジェントエージェントが至る所に存在するようになることは明らかであり、当然ながら膨大な計算能力が必要となります。では、さらなる拡張における障害は何になるのでしょうか？

ジェンスン・ホアン

(00:37:59) 電力は懸念事項の一つですが、唯一の懸念ではありません。だからこそ、私たちは「極限協調設計」を強力に推進しているのです。これにより、ワットあたり秒あたりのトークン生成数を毎年数桁向上させることができます。過去10年間、ムーアの法則に従えば、計算能力は約100倍に向上します。しかし私たちは、過去10年間でスケールアップを図ることで、計算能力を100万倍に高めました。私たちは「極限協調設計」を通じて、この取り組みを継続していきます。エネルギー効率、すなわちワット当たりの性能は、企業の収益、ひいては工場の収益に直結します。私たちはエネルギー効率を極限まで高め、トークンのコストを可能な限り迅速に削減していきます。

ジェンスン・ホアン

(00:38:51) コンピュータの価格は上昇していますが、トークンを生成する効率はそれよりもはるかに速いペースで向上しているため、トークンのコストは低下しています。毎年、1桁のオーダーで低下しています。

レックス・フリードマン

(00:39:04) 電力は興味深い問題です。電力の障壁を乗り越えようとする方法は、1ワットあたり1秒間に生成されるトークンの数を増やすことで、効率をますます高めていくことです。もちろん、どうすればより多くの電力を確保できるかというのも問題です。

ジェンスン・ファン

(00:39:16) 確かに、より多くの電力を確保すべきです。

サプライチェーン

レックス・フリードマン

(00:39:17) これは非常に複雑な問題です。あなたは小型モジュール型原子力発電所について言及していました。エネルギーに関しては多くのアイデアがあります。AIのサプライチェーンにおけるボトルネックの問題で、どれほど眠れない夜を過ごしましたか？例えば、EUVリソグラフィー装置を持つASML、CoWoSのような先進的なパッケージング技術を持つTSMC、そして高帯域幅メモリを持つSKハイニックスといった企業についてです。

ジェンスン・ホアン

(00:39:38) 常に考えていることですが、私たちは常にこれらの課題に取り組んでいます。歴史上、私たちのような規模で成長しながら、その成長を加速させている企業はかつてありませんでした。これはまさに信じがたいことです。人々には理解することさえ難しいでしょう。AIコンピューティング分野全体において、私たちは市場シェアを拡大しています。したがって、サプライチェーンの上流も下流も、私たちにとって極めて重要です。私は、協力関係にあるすべてのCEOたちと多くの時間を費やして話し合っています。どのような動きが、この成長を持続させ、さらには加速させるのでしょうか？これが、GTCで、私の右側には、上流のIT業界のCEOや下流のインフラ業界のCEOがほぼ全員座っていた理由の一部を説明しています。

ジェンスン・ホアン

(00:40:32) 彼らは皆そこにいました。数百人のCEOがいました。歴史上、これほど多くのCEOが基調講演に出席したことはなかったと思います。その理由の一つは、私が彼らに現在の事業状況について説明していたからです。近い将来の成長の原動力や、現在進行中の事象についても話しました。さらに、彼らがこれらの情報や動向を投資判断の指針として活用できるよう、私たちが今後どのような方向に進むかについても説明しました。自社の従業員に伝えるのと同じように、彼らにも伝えています。

メモリ

ジェンスン・ファン

(00:41:06) もちろん、その後、私は自ら彼らを訪ねて、「ねえ、聞いてほしいんだ。今四半期、今年、来年、こうしたことが起こるだろう」と伝えます。DRAM（ダイナミック・ランダム・アクセス・メモリ）業界のCEOたちを見てみると——かつて世界一のDRAMは、データセンターのCPUで使用されるDDRメモリでした。約3年前、私は数人のCEOを説得することに成功しました。当時、HBM（高帯域幅メモリ）の使用はごく稀で、スーパーコンピュータですらほとんど使われていませんでしたが、これが将来のデータセンターにおける主流のメモリになると。当初は荒唐無稽に聞こえたが、数人のCEOは私の言葉を信じ、HBMメモリの製造に投資することを決めた。

ジェンスン・ホアン

(00:41:55) データセンターに導入するには少し奇妙に思えるもう一つのメモリは、スマートフォン向けの低消費電力メモリです。私たちは、これをデータセンターのスーパーコンピュータ向けに改造してほしいと要望しました。彼らは「スマートフォンのメモリでスーパーコンピュータを作るのか？」と言いました。私はその理由を説明しました。さて、LPDDR5とHBM4という2種類のメモリを見てみましょう。その需要は驚くべきものです。これらを製造する3社は、いずれも創業45年の老舗企業ですが、いずれも史上最高の業績を記録した年となりました。ですから、私の仕事の一部は、情報を伝え、形作り、インスピレーションを与えることなのです。

レックス・フリードマン

(00:42:36) つまり、あなたは単に未来を構想し、NVIDIAの様々なエンジニアを鼓舞しているだけでなく、将来のサプライチェーンを形作っているわけですね。TSMCやASMLとも対話している。

ジェンスン・ホアン

(00:42:50) 上流、下流。

レックス・フリードマン

(00:42:51) 上流、下流。つまり、これが鍵なのです。

ジェンスン・フアン

(00:42:53) GE（ゼネラル・エレクトリック）、キャタピラー。その通り、あれが我々の下流だ。まさにその通りだ。

レックス・フリードマン

(00:42:59) そう、システム全体だ。半導体業界全体には、極めて困難な工学技術が数多く関わっており、サプライチェーンは複雑極まりなく、部品も膨大で、恐ろしいほどですが、それにもかかわらず、奇跡的に機能しているのです。

ジェンスン・ファン

(00:43:18) その通りです、高度な科学。高度な工学、そして信じられないほどの製造技術。今日、製造の大部分はすでにロボット化されています。しかし、私たちには数百社のサプライヤーがおり、彼らが提供する技術が、130万個の部品からなる私たちのラックを構成しています。各ラックには130万から150万個の部品があります。Vera Rubinラックの背後には200社のサプライヤーが存在します。

レックス・フリードマン

(00:43:45) 興味深いことに、あなたが夜も眠れないほど悩まされている課題リストには、この点は含まれていませんでしたね。

ジェンスン・ホアン

(00:43:49) なぜなら、私はすでに必要なことはすべて済ませて——

レックス・フリードマン

(00:43:52) なるほど。

ジェンスン・ホアン

(00:43:52) 分かりますか？もうすべて片づけたので、安心して眠れる。自分にこう言い聞かせた。「よし、論理的に考えてみよう。私たちにとって何が最も重要なのか？」当初のDGX-1からNVLink-72によるラックレベルコンピューティングへとシステムアーキテクチャを変更したことは、何を意味するのか？ソフトウェアにとって何を意味するのか？エンジニアリングにとって何を意味するのか？私たちの設計やテストの方法にとって何を意味するのか？サプライチェーンにとって何を意味するのか？その影響の一つとして、本来データセンターで行われていたスーパーコンピュータの統合作業を、サプライチェーンにおけるスーパーコンピュータ製造の段階へと前倒ししたことが挙げられる。

ジェンスン・ファン

(00:44:42) そうする場合、次の点も認識しなければなりません……例えば、50ギガワットのスーパーコンピュータを同時に稼働させるデータセンターを構築したいと仮定しましょう。サプライチェーンにおいて、その50ギガワットのスーパーコンピュータを製造するには1週間かかります。つまり、サプライチェーンでは、これらのスーパーコンピュータを構築・テストするために毎週1ギガワットの電力が必要となり、その後にようやく出荷できるのです。

レックス・フリードマン

(00:45:25) なるほど。

ジェンスン・ホアン

(00:45:25) そして、NVLink-72はまさにサプライチェーン内でスーパーコンピュータを構築し、1ラックあたり2～3トンの重量のまま直接出荷するものです。以前はコンポーネントが別々に運ばれてきて、データセンター内で組み立てていました。しかし、NVLink-72の密度が高すぎるため、今ではそれが不可能です。これがその一例です。私はサプライチェーンの現場へ飛び、パートナーに会い、「ねえ、聞いてくれ。これが我々の今後の方向性だ……これがかつてDGXを構築していた方法だ。これからはこのように構築する。「これははるかに優れています。なぜなら、推論の面でこれらが必要になるからです。」推論の市場が到来しようとしています。推論の転換点が目前に迫っています。これは巨大な市場になるでしょう。

ジェンスン・フアン

(00:46:05) まず、何が起きているのか、なぜ起きているのかを彼らに説明します。そして、各社に数十億ドルの設備投資を要請します。彼らは私を信頼してくれていますし、私も彼らを深く尊敬しているので、私に疑問を投げかける十分な機会を与えています。私は時間をかけて物事を説明し、第一原理に基づいて推論します。図表を描き、第一原理に基づいた推論を行いました。話し合いが終わる頃には、彼らは何をすべきか理解していました。

レックス・フリードマン

(00:46:35) つまり、その大部分は人間関係と、未来に対する共通のビジョンを築くことに関わっています。しかし、特定のボトルネックについては懸念していますか？サプライチェーンにおける最大のボトルネックは何でしょうか？ASMLのEUV装置については懸念していますか？TSMCのCoWoSパッケージング技術の拡大ペースが十分かどうかについてはどうでしょうか？ご指摘の通り、御社は信じられないほど急速に成長しているだけでなくだけでなく、成長のペースも加速しています。サプライチェーンに関わるすべてのプレイヤーにとって、これらは明らかにボトルネックとなっており、規模を拡大する必要があると感じています。例えば、いかにしてより迅速に規模を拡大できるかについて、彼らとコミュニケーションを取っていますか？

ジェンスン・ホアン

(00:47:12) 常にコミュニケーションを取っています。

レックス・フリードマン

(00:47:12) 心配はしていませんか？

ジェンスン・ホアン

(00:47:13) 心配していません。

レックス・フリードマン

(00:47:13) わかりました。

ジェンスン・ファン

(00:47:14) なぜなら、私は彼らに何が必要かをすでに伝えているからです。彼らは私のニーズを理解してくれています。彼らは何をするつもりか教えてくれましたし、私は彼らがそれを実行してくれると信じています。

電力

レックス・フリードマン

(00:47:22) 興味深いですね。それを聞いてとても嬉しいです。電力問題についてもう少し立ち止まって話しましょう。エネルギー問題の解決について、どのような期待をお持ちですか？

ジェンスン・ホアン

(00:47:30) レックス、これは私が特に議論したい分野であり、このメッセージを広めたいと思っています。私たちの電力網は最悪の事態を想定して設計されており、さらに一定の余裕も持たせてあります。しかし実際には、99%の時間は最悪のシナリオには到底達しません。なぜなら、最悪のシナリオとは、冬の一番寒い数日、夏の一番暑い数日、そして極端な気象条件に限られるからです。ほとんどの場合、私たちは限界状況には程遠く、ピーク負荷の約60%程度で稼働しているに過ぎません。

ジェンスン・ファン

(00:48:08) つまり、99%の時間において、電力網には余剰電力が遊休状態のまま放置されています。しかし、万が一に備えて、それらを予備として確保しておく必要があります。いざという時、病院には電気が必要だし、インフラにも電気が必要だし、空港も稼働し続けなければならない。私の提案は、彼らに理解してもらい、契約を結んで、コンピュータアーキテクチャやデータセンターの設計を見直せないかということです。そうすれば、社会インフラが最大の電力を必要とする時、データセンターに供給される電力は削減されることになります。

ジェンスン・ファン

(00:48:49) いずれにせよ、そのような状況は極めて稀です。その間、私たちはそのわずかな需要に対応するために予備発電機を用意するか、コンピュータのワークロードを他の場所に転送するか、あるいはコンピュータの動作を少し遅くするかのいずれかを行います。パフォーマンスを下げて消費電力を抑え、回答を求められる際にわずかに長い遅延で応答することも可能です。100%の稼働率を求めること——こうした極めて厳しい契約条件は電力網に多大な負荷をかけており、今後は最大容量をさらに引き上げざるを得なくなるでしょう。私は単に、彼らが余剰として抱えている電力を活用したいだけなのです。

レックス・フリードマン

(00:49:36) そうですね、この話題はまだ十分に議論されていません。何がこれを妨げているのでしょうか？規制でしょうか？官僚主義でしょうか？

ジェンスン・ホアン

(00:49:43) これは3つの側面からなる問題だと思います。まず、エンドユーザーから始まります。エンドユーザーはデータセンターに対し、絶対にダウンしてはいけないという要求を突きつけてきます。つまり、エンドユーザーが求めているのは完璧さなのです。この完璧さを実現するためには、発電機と電力網のサプライヤーが連携して、この100%の約束を果たす必要があります。誰もが「6つの9」（99.9999%の可用性）を求めています。まず、顧客がこうした要求を突きつけてくる際、データセンターの運用チームはCEOと意思疎通が取れていない可能性があることを、皆さんに理解してもらう必要があります。CEOはこのことを知らないに違いありません。私はすべてのCEOと話し合うつもりです。

ジェンスン・ファン

(00:50:28) CEOたちは、締結されようとしている契約条項に全く注目していない可能性があります。誰もが当然、最良の契約を結ぼうとするものです。彼らはクラウドサービスプロバイダー（CSP）を訪れ、交渉に携わる契約担当者たち……彼らの様子が目に浮かびます。彼らは数年にわたる契約を交渉し、双方が最も有利な条項を求めています。その結果、CSPは次に公益事業会社に向かい、「99.999999999％」の可用性を保証するよう要求するのです。まず第一に、すべての顧客、そしてCEOたちが、自分たちが一体何を要求しているのかを確実に理解させる必要があると思います。第二に、グレースフル・ディグレード（Gracefully degrade）が可能なデータセンターを構築する必要があります。

ジェンスン・ホアン

(00:51:13) ですから、もし電力会社や送電網から「聞いてください、電力供給を80%に削減しなければなりません」と言われたら、私たちは「全く問題ありません」と答えます。ワークロードを移動させます。データの損失は絶対に防ぎますが、演算速度を下げて、より少ないエネルギーで運用します。サービス品質は多少低下するでしょう。重要なワークロードについては、すぐに別の場所に移すので、問題はありません。稼働率100%を維持しているデータセンターを見つけるのです。

レックス・フリードマン

(00:51:44) データセンター内でインテリジェントかつ動的な電力配分を実現することは、どれほど困難な技術的課題なのでしょうか？

ジェンスン・ホアン

(00:51:49) 仕様さえ定義できれば、それを実現することは可能です。その言葉は的を射ています。第一原理と物理法則に合致する限り、問題はないと思います。

レックス・フリードマン

(00:51:58) 先ほどおっしゃった3つ目の点とは何ですか？

ジェンスン・ホアン

(00:52:00) つまり、2つ目はデータセンターです。3つ目は、電力会社にもこれがチャンスであると認識してもらう必要があるということです。「聞いてくれ、送電網の容量を増やすには5年かかる」と言うのではなく、「このレベルの電力供給を受け入れてくれるなら、来月にもこの価格で提供できる」と言うべきです。電力会社がさまざまなレベルの電力供給保証を提供すれば、誰もが解決策を見つけられると思います。現在の送電網には、あまりにも多くの無駄があります。私たちはこの問題に取り組むべきです。

イーロン・マスクとコロッサス（Colossus）

レックス・フリードマン

(00:52:43) あなたは、メンフィス（Memphis）におけるイーロン・マスクとxAIの功績を高く評価しています。彼らは記録的な速さ——わずか4ヶ月で、Colossusスーパーコンピュータを完成させました。現在、そこには20万個のGPUが搭載されており、その数は急速に増え続けています。あなたの見解では、彼の問題解決の手法は、すべてのデータセンター建設者にとって指針となるものでしょうか。