RoboTwin第一、RoboDojo领跑:Physical AI的下一轮Scaling,为什么是Physics?
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
RoboTwin第一、RoboDojo领跑:Physical AI的下一轮Scaling,为什么是Physics?
近日,厘清智能创始人、清华大学人工智能学院李一鸣教授团队发布了两项 Physical AI 研究成果:世界动作模型 PrismWAM,以及面向机器人执行诊断与持续改进的 Agentic 框架 RoboDoctor。 PrismWAM 从模型层面探索如何更好地表征物理状态、预测状态变化并生成动作,在 RoboTwin 2.0 评测中以领先优势位列第一;RoboDoctor 则从系统层面探索如何利用执行反馈进行诊断、纠错与经验积累,在覆盖 RoboDojo 全部 54 项任务的测试中取得 57.1 分,位居当前对比首位。 过去几年,人工智能的进步,很大程度上来自对语义智能的规模化扩展——更大的模型、更多的数据、更强的理解与推理能力。然而,随着 GPT-6 Astra、Gemini 等通用基础模型不断展现出更强的理解、推理与规划能力,一个更根本的问题正在浮现:让机器人理解世界,和让机器人真正改变世界,是两种不同的能力。 理解一条指令,不等于知道如何施力;识别一个物体,不等于理解它在接触、运动与受力中的变化;规划一条看似合理的路径,更不意味着机器人能够在真实环境中将任务可靠地完成。 这正是 Physical AI 下一阶段的关键命题:Scaling Semantics,还是 Scaling Physics? 前者让模型拥有更广泛的知识、更强的语义理解与任务推理;后者则让模型真正理解物理状态与动作后果,让机器人能够感知变化、应对不确定性,并在失败中持续纠正并自我改进。 两项工作分别从模型与系统两个层面探索 Scaling Physics:PrismWAM 研究物理状态如何被表征、预测并转化为动作;RoboDoctor 进一步研究动作进入真实执行后,系统如何利用物理反馈诊断偏差、纠正动作并积累经验。 一、语义与物理的解耦让物理状态变化参与动作生成 当语义理解逐渐成为通用能力,机器人还需要什么样的世界模型? 近年来,视觉语言模型与视频生成模型的发展,为通用机器人策略提供了新的基础。世界动作模型(World Action Model,WAM)进一步尝试将未来世界状态预测与机器人动作生成结合起来,使机器人不仅能够根据当前观测选择动作,还能够学习动作与未来状态变化之间的关系。 但现有方法也面临一个值得重新审视的问题:我们是否应该把世界的外观,当作世界状态本身来建模? 一段 RGB 视频同时包含了大量不同性质的信息:物体的颜色、纹理、光照与背景,物体的几何形状、空间位置、接触关系,以及它们在动作作用下发生的变化。这些信息在图像中交织在一起,却并不具有相同的控制价值。 对于机器人而言,理解“这是一个杯子”与判断“杯口在哪里、瓶子应当如何倾斜、接下来会不会洒出液体”,是两类不同的问题。前者主要涉及语义识别与任务理解,后者则要求系统准确把握几何关系、物理状态及其随动作演化的过程。 视频模型特征中包含了语义和物理等多重信息 随着通用基础模型越来越擅长理解场景与任务,Physical AI 的研究重心也有必要进一步向物理层深入:与其让同一个表征承担所有任务,不如明确区分语义信息与物理状态,让不同信息各自服务于最适合的目标。 PrismWAM:从“预测世界看起来怎样”到“建模世界如何变化” 围绕这一思路,李一鸣团队提出了 PrismWAM(Prismatic World Action Model)。 PrismWAM 的核心洞察,是将语义上下文(Semantic Context)与物理状态(Physical State)解耦,不再把外观丰富的视频特征视为统一的物理世界状态,而是建立一条职责清晰的注意力链路:Semantic Planning → Physical Rollout → Executable Action Semantic Planning:理解任务意图。模型从 RGB 观测中学习任务语义与目标场景,回答“最终应该发生什么”。 Physical Rollout:建模物理演化。模型通过深度表征预测连续的几何状态变化,刻画物体如何移动、空间关系如何改变,以及任务如何逐步接近目标。 Executable Action:生成可执行动作。动作生成直接利用物理演化表征,将状态变化转化为机器人可以执行的连续控制。 PrismWAM 概念示意 在这条链路中,信息从 RGB 语义表征流向深度物理表征,再进入动作生成;动作模块并不直接读取 RGB 特征。使模型把更多建模能力用于几何结构和空间状态的变化。接触与受力能在多大程度上被准确预测,仍需通过具体任务和实验结果检验。 传统世界动作模型与 PrismWAM 的架构对比 这一设计背后,是对 Physical AI 中一个更本质问题的探索:模型究竟应该学习世界的哪些变化,才能更有效地控制世界? 如果任务语义越来越多地成为
推荐阅读
Search
热点新闻
赛力斯接连遭遇AI造假与网络暴力谣言,全国警方已依法查处22名违法行为人
封面新闻记者 李继龙 从利用AI篡改车辆生产日期,到编造智能驾驶事故、企业财务造假等不实信息,近期,重庆车企赛力斯接连遭遇网络谣言及网络暴力事件。 据新重庆-重庆日报10月16日报道,记者从重庆警方获悉,针对赛力斯集团股份有限公司的网络谣言、网络暴力案件,全国各地公安机关已依法查处22名违法行为人,其中重庆警方查处7人,外地警方查处15人。 此前一天,重庆市公安局沙坪坝区分局通过官方微信公众号“平
6号秀伤停三场后复出,18分钟砍18分回应看衰
篮网重建的核心人物、首轮6号秀米克尔·布朗(Mikel Brown Jr.)将在周三对阵来访黄蜂的赛季揭幕战中迎来备受期待的NBA首秀。 这位6号秀和篮网队友们都很清楚外界对这支球队的低预期——被看作联盟最差的球队之一。在他们眼里,这是燃料。 “是的,绝对是这样,”布朗说,“但归根结底,我们现在只专注自己,专注于变得更好。就像我之前说的,每场比赛我们都有东西要证明。这就是进入比赛的心态。” 他补充
从明年开始,超过65岁以上的高血压患者,一定要做好这6个准备
您有没有见过这种老人,血压计往桌上一搁,袖子一撸,数值出来瞅一眼就收起来,问他多少,摆摆手说“不高不高”。再追问两句,他嘿嘿一笑:“都这岁数了,高点不正常嘛。” 这话听着豁达,可 血管弹性 这东西,跟岁数确实有关系,但关系大小,往往攥在自个儿手里。 放任不管 和 心里有数 ,过几年再看,状态差得不是一星半点。 先把最要紧的干货摆前头,量血压的姿势得讲究。 坐着量,后背靠稳,脚平放地上,胳膊搁桌上跟
鲁尼批曼联球员自私:他们只在乎自己,像孩子一样闹脾气
曼联历史最佳射手韦恩-鲁尼在退役后发表了措辞最为激烈的批评之一,将矛头直指俱乐部现役球员。他指责球员们“自私”,并称他们“像孩子一样行事”,回应布鲁诺-费尔南德斯在球队输给科莫后发表的争议言论。 鲁尼在周四做客《曼联立场》播客节目时毫不留情地回应道:“利桑德罗-马丁内斯发声时,我就说过,那简直是一场噩梦,因为这会毁掉更衣室。这只是开始。现在我们已经看到了布鲁诺的情况,接下来还会有其他球员站出来,因
罗德里谈女友庆祝他的进球:她是我最忠实的球迷,我非常爱她
直播吧10月24日讯 巴萨中场罗德里接受媒体的采访,谈到了女友劳拉庆祝他在对阵贝蒂斯比赛中斩获首球的话题。 我要给你看一段视频(女友劳拉庆祝他的进球),我不知道你看过没有? 是的,我看过了,后来我还转发了。她是我最忠实的球迷,我走到哪儿她就跟到哪儿,我非常爱她。 没有什么比看到有人像劳拉那样庆祝进球更美好的事情了 是啊,完全同意。说到底,人们常说我们球员的女朋友通常不太关心足球,但她完全不是这样。