Livepeer ：如何在Livepeer网络上引入AI视频计算

作者：Doug Petkanics，Livepeer CEO；翻译：0xxz@金色财经

引言

当人们发现 Livepeer 网络有数千个 GPU 活跃地用于每周转码数百万分钟的视频时，最常见的问题之一是这些 GPU 是否可以用于执行其他类型的计算。特别是，随着 2023 年人工智能的兴起，以及对 GPU（用于执行人工智能训练和推理的硬件）需求的相关增长，人们自然会认为 Livepeer 网络可以利用其算力进军到人工智能基础设施上，人工智能基础设施花费数十亿美元。NVidia 的数据中心业务为 AI 计算提供 GPU，仅上个季度就实现了 140 亿美元的收入增长，高于去年同期的 40 亿美元。

资料来源：NVidia 季度报告，来自 X 上的@Thomas_Woodside

那些做出这些假设的人是正确的——Livepeer 网络当然可以被那些寻求具有颠覆性成本的人工智能处理的人使用。随着近几个月通过Livepeer Studi实现的 Livepeer 视频使用量的增长以及新社区管理的 Livepeer 金库的推出，奠定了基础，现在是时候将 AI 视频计算功能引入Livepeer了。

本文下面部分将阐述如何在Livepeer网络上引入人工智能视频计算，以及使其成为现实的计划、策略和时间表。

任务定位 - 视频过滤器

Livepeer 使命和承诺的背景

Livepeer 始终致力于其使命：构建世界开放视频基础设施。其他计算平台试图成为通用的“区块链上的 AWS”或“运行任何类型的计算任务”类型的市场，但由于缺乏针对行业的解决方案的能力，这给市场进入带来了挑战部分。相反，Livepeer 通过转码专注于视频计算，并能够为特定行业（超过1000亿美元的视频流市场）构建有针对性的产品和 GTM，以解决实际用例并挖掘现有需求，而不是营销没有人想要的通用的抽象解决方案。

对视频的关注意味着 Livepeer 避免过度反应并转向 ICO、NFT 或 DeFi 等最新热门趋势，而是始终询问这些创新如何应用于视频。高点没有那么高，但更重要的是，低点也没有那么低。这也吸引了一个以任务为中心的团队和社区，拥有深厚的视频专业知识，他们对我们在很长一段时间内所做的事情感到兴奋，而不是当本月的趋势失去动力时离去的社区。

目前，没有什么趋势比人工智能的快速崛起更热门了。但与许多加密货币团队和项目不同的是，Livepeer 并没有放弃其使命并“转向人工智能”。相反，我们提出了这样的问题：人工智能将如何影响视频的未来。人工智能在很多方面降低了视频创作者的门槛。两个重要的因素是首先减少创作的时间和成本，以及减少高质量视频制作和输出的时间、成本和专业知识。

• 在创作方面，生成式人工智能可用于根据文本或图像提示创建视频剪辑。过去，设置场景需要摄制组、布景、摄像机、脚本、演员、编辑等，现在可能只需要用户在键盘上输入文本提示，然后等待几分钟，让 GPU 生成样本潜在的结果。生成视频不会取代高质量的作品，但它可以在流程的各个阶段节省大量成本。

• 在制作方面，无论是由人工智能创建还是由创作者提交，诸如升级、帧插值、字幕生成等功能都可以快速提高视频内容的质量和可访问性。视频中的交互性等高级功能可以通过自动对象检测、屏蔽和场景类型分类来启用。

Livepeer 利用这一 AI 功能集的时机令人兴奋，因为最近发布了开源基础模型，包括 Stable Video Diffusion、ESRGAN、FAST 等，这些模型都与闭源专有模型保持同步。其目标是让世界上的开放视频基础设施支持运行所有人都可以访问的开源模型，这些模型现在已经存在，并且由于开源人工智能社区的创新而快速变得更好。

AI 背景 - Livepeer 适合的地方

训练、微调、推理

人工智能生命周期有很多阶段，但通常需要大量计算能力的三个阶段是训练、微调和推理。简而言之：

• 训练需要创建模型并在非常大的数据集上运行计算。有时，这需要在训练基础模型（例如通过 OpenAI 或 Google 训练的模型）时进行价值数千或数亿美元的计算。

• 微调更具成本效益，并且采用现有的基础模型，但根据特定任务的一组特定输入来调整权重。

• 推理是采用已经训练和调整的模型，并让它产生输出或根据输入集进行预测的行为。对于一个推理作业，相对于前两个阶段，这在计算方面通常很便宜，但通常会一遍又一遍地执行数百万次，因此推理的花费超过了训练的成本，因此证明训练投资的合理性。

训练和微调需要访问大型数据集和密集联网的 GPU，以便它们能够相互通信并快速共享信息。像 Livepeer 这样的网络不太适合开箱即用的训练，并且需要进行重大更新才能完成任务。虽然去中心化网络作为专有大型技术训练云的替代品对于训练来说很有吸引力，但由于网络开销和训练基础模型时的低效率，从成本角度来看，去中心化网络是否具有竞争力是值得怀疑的。

另一方面，推理是像 Livepeer 这样的去中心化网络可以发挥作用的地方。每个节点运营商都可以选择将给定模型加载到其 GPU 上，并且可以在成本上进行竞争，以根据用户输入执行推理作业。就像在 Livepeer 转码网络中一样，用户可以向 Livepeer 网络提交作业来执行 AI 推理，并且应该获得公开市场竞争定价的好处，可以利用当前闲置的 GPU 功率，从而看到成本效益。

GPU 是人工智能热潮的命脉。NVidia 的数据中心业务以 GPU 需求为基础，在过去一年呈指数级增长。埃隆·马斯克 (Elon Musk) 开玩笑地表示，GPU 比毒品更难买到。然而，像 Livepeer 这样的 DePIN 网络已经表明，通过其开放的市场动态，以及通过通胀代币奖励来引导激励，它们可以在需求之前吸引全球 GPU 供应，从而可以弹性地支持新用户和应用程序的增长。近乎无限的即用即付容量。开发人员不再需要以高价提前预留不使用时闲置的硬件，而是可以按尽可能低的市场价格付费。这是去中心化网络推动人工智能繁荣的巨大机会。

Livepeer 机会 - 将 AI 推理任务提交到网络而不是 GPU

让连接到 Livepeer 的1000个GPU发挥作用

GCP 或 AWS 等云提供商允许你在其企业云上“预留 GPU 服务器”。像 Akash 这样的开放网络更进一步，让你可以从世界各地的众多去中心化提供商之一按需租用服务器。但无论上述选择如何，你都必须管理租用的服务器来运行模型并执行任务。如果你想构建一个可以同时执行多个任务的应用程序，则必须对其进行扩展。你必须将工作流程链接在一起。

Livepeer 将事物抽象为“工作”，你可以将其提交到网络并相信它会完成。Livepeer 已经通过视频转码实现了这一点，其工作是提交一段 2 秒的视频片段进行转码。你只需将作业发送到网络，并且可以确信你的广播节点将可靠地完成该作业，并负责工作节点选择、故障转移和冗余。

对于人工智能视频计算任务，它可以以同样的方式工作。可能有一个“从文本生成视频”的工作。你可以相信你的节点将完成此任务，并且你可以将其扩展到你想要通过单个节点同时提交的任意数量的作业，该节点可以利用数千个 GPU 的网络来执行实际计算。向前迈出一步 - 这仍然处于设计阶段 - 你可以提交整个工作流程，例如

• 从文本生成视频

• 升高一级

• 进行帧插值使其播放流畅

网络可以为你做到这一点，而你无需将单独的模型部署到单独的机器、管理 IO、共享存储等。不再需要管理服务器、扩展服务器、进行故障转移等。Livepeer 是一个可扩展的基础设施，具有最大的成本效益且高度可靠。如果网络能够兑现人工智能视频计算的这些承诺，就像它在视频转码工作中所做的那样，它将提供新水平的开发人员体验和成本降低，这是开放人工智能世界中尚未见过的。

计划快速引入AI视频计算并验证网络的成本效益

AI视频子网

与Livepeer过去7年的历程一致，该项目将致力于展示真实的、可用的、功能性的、开源的软件和网络能力，然后再进行“Livepeer有这个”的宣传。以下是实现这一目标的计划的简短版本：

1. 为其他作业类型选择特定的初始用例，而不仅仅是视频转码：基于 AI 的生成视频，由 AI 升级和帧插值支持。伟大的开放模型，例如Stable Video Diffusion，在这个领域每天都在不断发展。

2. 通过在节点软件的分叉/尖峰内构建来快速行动，将这些功能添加到我们的协调器（供应方）节点和广播器（需求方）节点。Livepeer 的开放媒体服务器 Catalyst 应支持用于请求和使用这些生成视频任务的接口。

3. 运行此峰值的用户将在 Livepeer 上形成某种子网络，但他们将使用 Livepeer 协议来发现并向通过 Livepeer 主网运行此新功能的节点付款。

4. 与面向消费者的前端应用程序合作，利用 Livepeer 极具成本效益的开放计算网络，并捕获和展示验证 Livepeer 相对于公共云的成本效益的数据。

5. 在我们验证这一点后，合并到核心 Livepeer 客户端，添加其他工作类型，并围绕利用其他形式的基于 AI 的视频计算来发展生态系统。

AI 视频子网络节点与转码节点一起运行，同时使用 Livepeer 主网支付。

AI Video SPE

Livepeer 最近通过其Delta 升级向该协议引入了一个由链上金库管理的社区，并且几个月来一直在使用 LPT 来资助公共产品计划。目前已经有一项预提案正在讨论中并接近投票，该提案旨在资助一个特殊目的实体（或 SPE），该实体致力于使人工智能视频计算前景成为现实。第一个提案旨在实现核心开发，以完成上面列出的前 4 项任务，包括：

1. 将这些 AI 功能开发为 Livepeer 节点分叉

2. 节点运营商可以形成一个子网络，通过在Livepeer 主网上支付来执行这些任务。

3. 一个向消费者展示这些功能的前端应用程序。

4. 基准和数据的集合，显示 Livepeer 网络大规模执行人工智能推理的成本效益。

它还提出了未来潜在的融资里程碑，即从金库提供基础设施信贷，以支付该数据收集期间消费者使用的初始成本。

Livepeer Discord 中的 #ai-video 频道已成为围绕该计划进行讨论和合作的热点，任何相信开放 AI 基础设施和视频 AI 计算未来的人都应该过来打个招呼并参与其中。节点运营商已经开始对不同的硬件进行基准测试，熟悉运行这些开放视频模型，并解决从视频转码专业转向其他视频特定作业类型的挑战。成为一个快速发展的项目团队的一员是一段有趣的时光。

未来

虽然这个最初的里程碑可以表明 Livepeer 对于支持的特定形式的 AI 视频计算具有成本效益，但真正的终极力量在于 AI 开发人员能够 BYO 模型、BYO 权重、BYO 微调或部署自定义LoRA 建立在网络现有基础模型之上。

支持这些初始功能，跨越一组不同的模型和计算形式，将导致节点操作、GPU 上的模型加载/卸载、节点发现和协商、故障转移、支付、验证等领域的快速学习当谈到人工智能视频计算时。从那里，我们可以评估 Livepeer 网络上生产和支持任意 AI 视频计算作业类型的未来里程碑。

早期，视频特定平台（例如 Livepeer Studio）可以为视频开发人员构建 API 和产品，以利用支持的模型。消费者应用程序（例如 AI Video SPE 中提出的应用程序）可以通过 Catalyst 节点直接在 Livepeer 网络上使用这些功能。但随着这些功能的扩展，以创作者为中心的新人工智能业务可以形成，并利用 Livepeer 的全球 GPU 网络，以经济高效的方式构建定制体验，而无需依赖昂贵的大型技术云及其专有模型作为业务支柱。

这是一条令人兴奋的道路，需要跑才能到达那里。毫无疑问，人工智能将在未来几年以超乎我们想象的速度改变视频世界，我们期待世界的开放视频基础设施成为未来实现这一大胆新技术所需的所有计算的最具成本效益、可扩展性和可靠的骨干网。