Runway 开源 Praxis-1：基于视频 AI 的机器人控制器

要点速览

• Runway 以 Apache 2.0 许可证开源了其机器人模型 Praxis-1 的权重和源代码。
• 该模型基于视频和机器人数据训练，能够处理摄像头图像、文字指令和位置数据，计算出相应的机器人动作。
• Runway 表示，Praxis-1 可以通过额外训练适配新的机器人系统。不过它偶尔会混淆外观相似的物体，也还无法独立可靠地规划复杂的动作序列。

AI 公司 Runway 开源了机器人模型 Praxis-1 的权重和源代码。这个模型利用从视频中学到的知识来控制机器人，在 Runway 自己的测试中表现不俗。

Runway 正式发布了用于机器人控制的 AI 模型 Praxis-1。该公司早在九月下旬就首次介绍了这个模型，但当时只向部分合作伙伴开放。随本次发布，Runway 还公布了一份详细的研究报告，包含新的性能测试结果。

模型权重和源代码采用 Apache 2.0 许可证发布，允许商用。

Praxis-1 接收摄像头图像、文字指令以及机器人的位置信息，据此预测环境将如何变化，并计算出合适的机器人动作。随着新的摄像头画面不断输入，模型会持续调整控制指令。

Praxis-1 靠视频训练实现机器人控制

Praxis-1 建立在一个视频模型之上，该模型从普通视频中学到了物体的运动和交互规律。Runway 随后用人类动作视频和机器人数据对其进行了微调。这种做法有望减少对昂贵机器人专用数据集的依赖——过去这类系统通常需要专门采集数据来训练。

Runway 最为人熟知的是其 Gen-4.5 等生成式视频模型。通过 Praxis-1，该公司将其在视频领域的研究成果拓展到了机器人技术。Runway 将 Praxis-1 定义为一种 World Action Model（世界动作模型），它不仅能预测场景的变化，还能根据这些预测推导出相应的机器人动作。自 9 月起，Standard Bots、Noble Machines 和 Ultra 等机器人公司已在不同系统上测试 Praxis-1，包括人形机器人、工业机械臂以及双臂仓储机器人。

Praxis-1 在 World Action Models 中领先

Praxis-1 仍需依赖部分专用机器人数据。根据 Runway 发布的研究报告，为了将其适配到 Franka 机械臂，公司使用了公共 DROID 研究数据集中约 277 小时的录像。这些录像展示了机器人抓取和移动物体等操作。对于双臂机器人，公司则使用了 1,400 至 2,600 小时之间的训练材料。此前，Runway 在早期的训练阶段就已使用过 DROID 数据以及其他机器人系统的数据。该方案是否真的比没有通用视频预训练的可比模型需要更少的机器人数据，目前仍是一个悬而未决的问题。

在 Nvidia 的 RoboLab-120 排行榜上，Praxis-1 取得了 46.2% 的成功率。该基准测试旨在评估机器人模型在模拟环境中完成 120 项分拣、抓取或堆叠任务时的可靠性。同样作为 World Action Model 构建的 FLUX 3 Action 在相同测试条件下的得分为 42.9%。这使得 Praxis-1 在 World Action Model 类别中位居榜首。在整体排行榜上，它位列第五，落后于两个 AI 智能体以及两个架构不同的机器人模型。Runway 独立执行了所有这些测试，结果尚未获得第三方验证。

在 DROID 数据上完成微调后，Runway 在一台真实的 Franka 机械臂上测试了该模型。两个模型需要完成同样的十个任务，比如把香蕉放到盘子里或关上抽屉。每个任务尝试十次，Praxis-1 成功了 88 次，FLUX 3 Action 则成功了 80 次。

Runway 还测试了 Praxis-1 迁移到从未见过的机器人类型的能力，使用了 Google 此前开发 RT-1 时用过的、带夹爪机械臂的移动机器人平台的数据。这类机器人的录像并不在 Praxis-1 之前的训练数据里。Runway 表示，在约 95 小时的机器人数据上微调后，该模型在模拟测试中的平均成功率达到 80%。测试涵盖四类任务，包括抓取汽水罐、开关抽屉，以及把苹果放进抽屉。Google 最初的 RT-1 模型在同一基准上的成绩是 52.4%。

Praxis-1 仍有明显局限

开发者注册并同意访问条款后，可以从 Hugging Face 下载 Praxis-1，代码托管在 GitHub 上。根据 Runway 的公告，除了基础模型，不同机器人的预适配版本也已经可以获取。基础模型需要额外训练才能用于新的机器人系统。

标准版模型需要 80 GB 显存的 GPU。按 Runway 的显存估算，压缩版应该可以塞进 32 GB 显存的 RTX 5090，不过 GitHub 文档指出，实际峰值显存占用还没有实测数据。

根据 Runway 的研究报告，模型有时会混淆外观相似的物体，也难以理解模糊的指令。对于较长的任务，需要把每个步骤明确写出来，因为 Praxis-1 目前还无法可靠地自主规划复杂的动作序列。

Runway 主要把 Praxis-1 看作一个快速执行机器人动作的系统。未来，它可以与把复杂任务拆解成单个步骤的通用 AI 模型配合使用。