物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs

首页 AI资讯 AI技术研报 AI监管政策 AI产品测评 AI商业项目 arena全球大模型排行榜 AI产品热榜 AI 源力市场 AI新闻日报

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs
AI技术研报 2026-11-17 10:25
+9156 阅读

强化学习环境(RL Envs)正在成为一门新生意。


随着大模型走向工具调用、软件操作和多步骤任务,模型训练的方式也在发生变化。模型不再只是从已有的数据和答案中学习,还需要进入具体任务,执行动作、观察结果,再根据反馈不断调整策略。


对模型团队来说,算法决定模型如何学习,而环境决定模型能够练习什么、可以尝试多少次,以及如何判断一次尝试是否有效。能否找到足够多、足够真实、结果可判定的任务,正在成为后训练的一部分重要工作。


这块需求有多热,市场已经给出答案。Mercor、Surge AI、Handshake……过去一年,围绕大模型训练和后训练,一批新公司和新业务迅速进入硅谷视野。


11月10日,Mercor宣布完成7.5亿美元D轮融资,估值200亿美元。这家公司运营着超过500万人的专家网络,为前沿实验室和企业供应评测与后训练数据。今年早些时候,Mercor还收购了Deeptune——一支花费两年时间把数百个企业应用重建为训练环境的团队。


Surge AI则展示了任务环境与模型训练之间的联系。这家公司围绕文档、电子表格、网页调研、规划和工具调用等长程办公任务构建RL环境,并用Qwen3.5-122B-A10B做后训练,模型随后在从未见过的SWE-Bench Pro上提升了5.7个百分点。


物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs


Handshake AI的重心在专家与场景,为前沿实验室提供专家数据、RL环境和评分器,覆盖金融、生命科学、对齐等方向。据《时代》杂志援引其CEO的说法,这项业务上线约一年,年化收入达到10亿美元。


这些公司的业务形态并不完全相同,有的侧重专业任务,有的提供训练环境,有的将专家经验、环境构建和评测结合起来。


但它们指向了同一个变化:模型后训练所需的核心供给,已经从算法和算力,扩展到训练数据和环境——“做什么任务、在哪里练、如何判定结果”。


随着模型开始承担长程任务,环境的作用越来越具体:它决定模型能练习哪些工作、动作会带来什么结果、训练能否持续迭代。


当这些环境还在数字世界时,模型操作软件、修改文件、运行代码,动作造成的变化通常能被记录,也比较容易判断结果。


而当模型要从屏幕走向物理世界,训练环境从数字任务延伸到物理交互,无疑会更加复杂。


GPT-6 Astra,机器人的“GPT-3时刻”:大模型开始进入物理AI


大模型能力的进步,正在改变机器人研发的想象空间。


9月3日,OpenAI发布GPT-6 Astra,定位是电脑操作与编程的前沿模型。


一个月内,第三方评测陆续出炉:在RoboDojo的42个仿真任务上,Astra不做任何机器人专项微调,平均成功率22.48%,超过榜单上全部40个经过训练的机器人策略。


物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs


投资人Freda Duan在X上发帖,称Astra是“机器人领域的GPT-3时刻”;前OpenAI研究员Will Depue的说法更直接:专用模型被“苦涩教训”了。


当然,OpenAI官方从未公布机器人跑分,真机测试也呈现明显的长短板:把方块放进碗里,20次成功19次;换到精密插销任务,20次只成功2次。


讨论指向的变化是实在的:通用模型在推理、工具使用和多步骤任务上的进展,让“基础大模型直接进入物理世界”从愿景变成了现实。


而从数字世界到物理世界,强化学习训练要面对另一种反馈。


数字环境里,软件智能体的动作改变文件、网页或程序状态,结果通常明确;但机器人的动作则牵动物体的位置、姿态和接触状态,一次接触的位置、力度和结果,也会影响后续的操作。所以,除了理解指令和规划流程,机器人必须在交互中不断调整动作。


这也意味着,物理AI需要的RL Envs不是数字环境的简单复刻,它要承载具体工作任务,让机器人在不同初始状态下反复行动,并让关键物体对策略动作作出可信响应。


训练场地的选择随之收窄。真机试错受设备、任务重置和现场条件限制,很难规模化;仿真可以提供可重复的训练条件,但前提是环境能承载具体任务、对策略动作持续给出反馈。


构建物理真实的RL Envs,由此成为基础大模型进入物理世界的必经之路。


复杂、多阶段的长程任务,RL Envs怎样教机器人干活?


在CoRL2026期间,光轮智能发布RoboFinals RL Environments(以下简称:RoboFinals RL Envs),面向机器人模型提供可交互的强化学习仿真环境。


不同于传统的围绕单一动作设计的训练场景,RoboFinals RL Envs以真实工作任务为导向,首发展示了时长超过8分钟的长程仿真任务——汽车修理长程工作。


这个任务将灵巧手操作、工具使用、多阶段流程和柔性物体交互组织在同一个工作场景中,涉及软管、线缆、密封垫等不同类型的物体。


它所呈现的复杂度,不仅在于单个动作本身的精细程度,更在于多种物理交互如何在同一任务链条中发生耦合关联。


物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs


第一,灵巧操作:自由度和接触点成倍增加。


多数机器人操作任务使用平行夹爪,只有开合一个自由度。灵巧手通常有十几到二十多个自由度,每根手指独立运动。


对策略来说,动作空间的维度大幅上升;对仿真来说,手指与物体之间同时存在多个接触点,每个点的受力都需要求解。如果接触算不准,物体就会滑脱或穿透,策略学到的抓握方式在真实世界里无法成立。


第二,长程任务:误差随着时间累积。


此前机器人强化学习环境中,常见的任务设计是抓取、放置等相对独立的动作。


例如Pick-and-Place,机器人需要完成物体抓取并放置到指定位置。但实际工作环境通常对应多段动作组合而来的任务,机器人要进入真实工作,必然要进入长程任务的训练。


任务越长,训练也越难。早期动作的影响很久之后才显现,每一步的小偏差还会不断叠加。


这是长程任务与多个独立任务简单拼接之间的重要区别。


常见的做法是把长任务拆成几段,每段从人工设定的初始状态开始。这降低了难度,但也去掉了真实工作的一个关键条件:机器人无法真正承接前一步操作造成的状态变化。


RoboFinals RL Envs的任务中,前后阶段相互关联。前一步造成的物体位置、姿态和接触状态变化会延续到后续步骤,策略必须学会在不完美的中间状态上继续完成任务。


第三,可变形物体交互:状态难描述,参数难确定。


软管、线缆、密封垫是可变形柔体,仿真时要离散成大量节点逐一计算,计算量和数值稳定性的压力都远高于刚体。


它们的行为还取决于刚度、阻尼、摩擦等参数。参数稍有偏差,仿真中的柔体表现就可能过软、过硬,或出现真实世界中不存在的抖动。而柔体交互后的形状响应,会直接影响后续的任务过程。


灵巧手的手指需要与物体发生接触,工具操作涉及精细的位置和姿态控制,软管受到牵拉时会产生弯曲和摆动,密封垫受压则会发生形变。


这些对象具有不同的物理属性和交互方式。单独呈现其中一种物体的运动并不困难,难点在于将它们放进同一个任务环境,使机器人能够在连续操作中与不同对象发生交互。


光轮此次展示的重点,不只是一个汽车维修仿真场景,而是将精细操作、复杂物体交互和长程任务组织在一起的机器人强化学习环境。要同时做到这几点,只能从底层做起。


光轮智能的全栈自研仿真底座SimFoundry覆盖“求解-测量-生成”三个环节:


求解器负责把刚体、关节体和柔性体的交互算对;


测量环节让物体的物理参数来自真实数据;


生成环节由AI Agent驱动,基于真实任务完成资产重建、物理建模和任务定义。由Agent驱动生成链路,真实场景和任务才能成批进入仿真。


物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs


光轮智能把这套标准称为RL Ready:任务语义上,每个阶段有明确的完成判定;物理交互上,试错条件下的反馈可靠;反馈信号上,可以直接用于训练。模型接入之后即可开始试错与迭代。


物理可信:光轮的仿真积累如何支撑长程任务


物理AI需要的强化学习环境,对搭建方提的要求很严格:


资产要视觉真实,还得物理真实。做到高质量的仿真环境搭建,需要高质量资产、高精度物理求解器、专家经验,三样缺一个,长程任务就会卡住。


问题在于,这三个单点能力很难同时被一个团队汇聚起来。


做资产的不碰求解器,卖仿真软件的手里没有真实场景,模型团队知道什么算对,却不太有动力做环境。


单点demo谁都能拼凑,但拼完就发现运行不下去。长程RL Envs迟迟没人推出来,卡点正是在这里。


光轮智能的不同之处,是这三样能力都握在自己手里。


作为Newton仿真技术委员会里唯一的中国公司,光轮智能参与定义SimReady仿真标准,同时是SimReady Central Library开源仿真资源库的核心贡献方。


早先展示的线缆插拔、塑料袋抓取等仿真任务,团队便展现了处理柔性物体的形变、接触和状态变化的能力,这类对象比刚体难缠得多。


而汽车维修任务,虽然对象变了,但处理的仍是同一类问题。资产、场景、自研求解器,这几个核心能力,都是这些年一点点打磨出来的。


物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs△光轮智能已实现物理真实的颗粒、柔体与刚体的协同交互


能力凑齐还不够,得咬合起来才产出可训练的环境。


Agentic校准工作流干的就是这件事:Agent提方向、比结果、组织下一轮修正方向,光轮智能的仿真专家在关键节点上拍板,不断优化。


物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs


此次发布中的一个具体案例可以说明这一工作流的运作方式。


在维修汽车的任务中,充气设备的软管受到牵拉时的弯曲和摆动会影响机器人操作,初始仿真中存在异常抖动。


Agent连续自动化校准,逐步找到对软管响应影响最大的杨氏模量参数。候选参数和轨迹出来后,人类专家再把仿真中的弯曲、摆动与实际软管的表现放在一起判断,协助完成最后的校准。


样例中,最大位置偏差缩小约3毫米,原先明显的抖动也有所减轻,软管响应更接近真实。


物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs△从V1到V3,与真实数据对比的误差结果不断缩小


物理参数调整的对象明确、结果可对照,由此形成自动化校准工作可复现的基础。


环境的构建能力能否规模化扩张,则决定了环境库能走多远。


光轮智能的规划是让RL Envs承载更多类型、不同难度和不同任务跨度的机器人工作,环境库的分布跟随真实任务分布,场景类型覆盖家居、工业、零售、医疗等;操作类型与难度从抓取放置,到对准、工具使用、力控,再到精密闭环操作;资产类型包括刚体、关节体、柔体、流体。


环境做出来了,接下来轮到模型团队提问:我怎么知道它学会了?


训练环境得配一套能对齐的评测。RoboFinals RL Envs和RoboFinals Benchmark共享任务语义、场景资产和能力定义,训练和评测说的是同一套工作要求;训练任务、奖励调参的过程和评测实例则严格分开,给学习效果留一份独立检验。


行业里,能训练的往往不能评价,能评价的手里又没有自己的环境,同源设计只有在同一条产品线上才成立。


最后一层是交付。


开源工具把启动仿真的门槛降下来了,可资产适配、物理校准、运行检查这些活一样没少。


光轮把它们打包成一个可以交付的产品,模型团队接上策略就能开训。环境能力不再是“某个团队内部攒出来的活儿”,而是可以采购、复用的标准件。


行业里,资产有人做,求解器有开源的,评测也有机构在做,单看每一项都不算独家。光轮智能率先把从“环境构建-校准-评测-交付”的一整条路走通了。


RL Envs的价值,最终要体现在策略能否在环境中持续行动,并根据每一轮交互结果调整行为。


光轮智能此次发布还展示了同一任务在不同策略迭代阶段的变化:


第一阶段(5 steps),机械手动作仍较为抖动,尚未完成抓取;


第二阶段(150 steps),策略已经开始尝试抓取,但螺丝在操作过程中出现滑落;


第三阶段(175 steps),策略成功抓起螺丝,完成了这一任务步骤。


这说明RoboFinals RL Env能够承载策略训练中的试错与行为变化,让模型表现的迭代过程在一个可重复的仿真任务中被观察和记录。


从数据评测到RL Envs,光轮补上模型持续学习的一环


大模型的发展已经表明,模型能力的提升不仅取决于算法本身,也与训练任务、交互条件和反馈机制密切相关。


对于机器人而言,这一问题更加复杂。


当模型从完成单一动作走向执行多阶段工作流程,环境不仅要承载任务,还需要处理精细化操作、物理交互、连续状态变化和长程反馈。机器人能练习什么、如何获得反馈,正在变成影响训练效果的变量。


光轮智能此前已经在围绕物理AI构建起“数据-评测-部署”全链路能力。此次推出的RoboFinals RL Envs则将产品能力进一步延伸至交互式训练环境。


依托SimFoundry仿真底座,光轮将复杂任务、物体资产和交互规则组织为可运行的仿真环境,使模型能够直接在环境中控制机器人执行任务、观察状态变化,并通过反复尝试来探索不同策略。


对于难以批量获取后训练数据的复杂操作任务,这也提供了一种新的学习经验获取方式。


模型训练后需要评测诊断,找到下一轮能力提升的方向,RoboFinals RL Envs与RoboFinals Benchmark分别面向策略训练和能力评测。模型可以在环境中进行交互和策略优化,再通过独立评测检验任务表现、识别能力边界。


从数据供给、仿真技术到规模化评测,再到强化学习环境,光轮智能的产品布局也反映出物理AI基础设施需求的变化:从模型研发所需的数据和评测资源,拓展到模型与物理环境之间的持续交互。


当机器人开始承担更复杂、更连续的工作任务,如何构建能够承载这些任务的学习环境,也正在成为物理AI基础设施需要回答的重要问题。


文章来自于"量子位",作者 "量子位"

1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
AI工作流

【开源免费】字节工作流产品扣子两大核心业务:Coze Studio(扣子开发平台)和 Coze Loop(扣子罗盘)全面开源,而且采用的是 Apache 2.0 许可证,支持商用!

项目地址:https://github.com/coze-dev/coze-studio


【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

3
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

4
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner

添加客服微信AITNT178,进AITNT官方交流群