内容摘要Runway称Praxis-1用互联网视频预训练,在物体放置测试中取得接近机器人遥操作视频训练的误差。
正文
Runway用互联网视频训机器人,效果几乎追平专业数据
动察 Beating AI 快讯,Runway 发布机器人模型 Praxis-1,把训练 AI 视频模型的能力用到了真实机器人上。它会先从大量普通视频里学习物体怎么运动、人怎么完成任务,再把这些经验变成机器人的动作。
Runway 做了一项物体放置测试,用互联网视频预训练后,机器人的平均误差是 16.1 厘米;改用专门采集的机器人遥操作视频,误差是 16.0 厘米。测试共做了 93 组评估,两种训练方式的结果几乎打平。
这条路线如果能继续扩大,机器人训练最缺的数据可能一下多出几个数量级。真人遥控机器人采数据,需要设备、场地和人工;普通视频早已遍布互联网。Runway 想做的,就是把这些原本不能直接控制机器人的视频,变成机器人学习动作的训练材料。
Praxis-1 已经在 Noble Machines、Standard Bots 和 Ultra 的多种机器人上测试,包括机械臂、双臂机器人和移动机器人。Runway 还展示了同一套策略从工作室换到厨房继续执行任务。模型目前只开放早期测试申请,权重计划未来几个月公开,参数量和更完整的独立评测还没有公布。
原文链接:https://m.theblockbeats.info/flash/369952
AI 辅助解读
以下为辅助分析,与已报道事实分开展示;重要信息请进一步核实。
传统机器人训练常使用真人遥控机器人产生的数据。Praxis-1尝试先利用普通互联网视频学习动作规律,再把学到的经验用于控制真实机器人。原文给出的单项测试中,两种训练数据对应的平均误差只差0.1厘米,但这并不能单独证明它们在所有任务和环境中效果相同。
对读者的影响
如果互联网视频能稳定用于机器人训练,原本不能直接控制机器人的大量普通视频可能成为训练材料,并减少对设备、场地和人工采集遥操作数据的依赖。原文尚未证明这种效果可以广泛复现。
对新手而言,重点是机器人训练可能获得一种更容易取得的数据来源;目前看到的是Runway披露的有限测试结果,还不能据此判断模型已成熟或全面追平专业数据。
风险与未知
- 16.1厘米和16.0厘米的结果是否经过第三方独立复现,原文没有说明。
- 模型参数量和更完整的独立评测尚未公布。
- 原文未提供93组评估的完整任务设置、统计范围和详细结果。
- 互联网视频训练方法能否在更多任务、机器人和真实环境中保持表现,仍无法确认。
- 权重公开的确切日期没有公布。