开发者真机上手!具身智能,还得这群人补位

首页 AI资讯 AI技术研报 AI监管政策 AI产品测评 AI商业项目 arena全球大模型排行榜 AI产品热榜 AI 源力市场 AI新闻日报

开发者真机上手!具身智能,还得这群人补位
AI资讯 2026-11-19 14:48
+5511 阅读

一台 2000 块买来的双臂机器人,实验做到一半,两个舵机坏了,怎么办?


复旦大学 FDU_SONIC 战队的四名学生,干脆把几台机械臂拆开,拆下零件,再拿去修另一台。好不容易让设备重新运转起来,更现实的问题还在后面:就算模型在仿真环境里跑出高分,他们平时也很难摸到真机。一台科研双臂机器人动辄数万元,对多数高校团队来说,买了未必有经费,有经费未必排得上用。


这支最初只想来学习的队伍,最终从 1855 支报名队伍中杀进 15 强,并最终拿下三等奖。


类似的故事,在首届蚂蚁灵波具身大模型挑战赛中多次上演。比赛吸引了 3000 多名选手报名,覆盖 13 个国家、648 家高校、科研院所及企业,成为目前规模最大的同类赛事。


赛制的特别之处在于所有参赛队伍使用同一个基座模型:蚂蚁灵波开源的 LingBot-VLA 2.0。初赛阶段,选手们围绕 RoboTwin 2.0 仿真环境进行模型训练和调优。进入到决赛,考场从虚拟环境转向真实机器人平台。


11 月 14 日至 15 日,15 支决赛队伍进入 48 小时真机攻坚。他们在松灵 COBOT MAGIC 平台上部署模型,利用统一预采数据和现场采集的数据继续优化,通过真实任务检验模型的实际表现。经过两天激烈角逐,11 月 16 日,决赛名次正式揭晓!


开发者真机上手!具身智能,还得这群人补位

决赛排名


一等奖由 TARS 战队摘得,队员分别来自福田实验室、西北工业大学、普渡机器人和天津大学。EVA 和 SST 战队获得二等奖,Vida、FDU-SONIC 和 ai-robot 战队获得三等奖。


开发者真机上手!具身智能,还得这群人补位

一等奖 TARS 站队,将获得 80,000 元奖金,以及由 AMD 赞助的 Radeon RX 9070 XT OC 海外版 Ultra 16GB 显卡、奥比中光赞助的 Gemini 335L 深度相机、辉羲智能赞助的 Huixi Embodied 开发者套件和由魔搭社区赞助的 5,000 魔粒值及 500 小时 Notebook GPU


一个值得记下的细节是,由技术专家、投资机构和媒体组成的观察团,把特别奖投给了同样的三支队伍。技术分和产业判断,也在这里完美重合了。


同样的具身大模型,交到不同的开发者手中,究竟还能被改造成什么样?这场极限真机竞逐给出了不少具体答案。


真机实测

既考选手也考模型


决赛给 15 支队伍出了同一组真机考题:机械臂要从一堆果蔬中找出指定目标,准确放进对应颜色的盘子;还要把化妆品逐一收进透明收纳盒的指定层位;最后机械臂配合将桌面垃圾扫进簸箕,再倒入垃圾篓。


开发者真机上手!具身智能,还得这群人补位


48 小时,同一个基座模型、同一份 647 条基础数据,15 支队伍给出了不同解法。LingBot-VLA 2.0 本身具备强大的视觉感知与动作执行能力,为进一步优化数据、视觉和控制策略提供了扎实的能力底座。


一等奖 TARS 战队采取了「分任务攻坚」的思路。对于水果抓取和化妆品收纳,团队判断本质上是同一类,只要目标看得准,基座模型的抓取能力足够覆盖,「现有的官方数据完全能够满足需求」。于是他们基本没有为前两项任务额外采集数据,直接调用千问识别画面中的干扰物,通过边界框和 CPU 端背景涂抹弱化无关信息,让模型更容易锁定目标。


省下来的数据采集精力全部集中到了难度最高的垃圾清扫任务。官方约 210 条示范数据主要采用正面夹持簸箕把手的方式,接触面积和摩擦力都比较小,稍有偏差就容易翻转,后续清扫动作也很难完成。TARS 改为夹住簸箕后沿,并按照新方案重新采集任务数据。


开发者真机上手!具身智能,还得这群人补位


如果说 TARS 解决的是机器人抓得更稳,二等奖 EVA 战队则把重点放在了如何让模型从失败中学习。他们发现使用官方数据训练,模型初期成功率只有约 10%。EVA 随后建立数据回流流程:先让机器人自主执行任务,再由大模型辅助评估和筛选轨迹;遇到失败或数据覆盖不足的情况,由人工接管,采集纠正后的轨迹(DAgger),重新加入训练。


这相当于给模型增加了一条持续学习的路径。48 小时内,EVA 完成约 7 轮数据回流,额外采集 700 多条数据,训练数据规模达到 1200 多条。团队还引入 Grounding DINO 和分割标注改善目标定位,并通过深度教师蒸馏补充空间感知监督。经过优化,模型真机成功率从约 10% 提升至约 70%。


开发者真机上手!具身智能,还得这群人补位


另一支二等奖队伍 SST,盯上了模型的视觉定位能力。他们希望给 VLA 增加一层更明确的视觉提示,为此引入 DeepSeek 识别指令中的目标物体,再用 SAM3 生成分割掩码,将背景亮度压低至原来的 10%,突出操作对象。


另外,针对 SAM3 无法稳定根据文字提示分割目标的问题,团队想出了一个颇有意思的办法:将机器人执行视频倒放,利用目标被抓起后的画面定位其像素位置,再交给 SAM3 沿视频追踪,完成整段视频标注,并用这些数据微调 SAM3。动作执行上,SST 让模型每次预测 50 步,但实际只执行前 16 步,再结合动作平滑机制,根据新观测及时调整。最终,团队仅额外采集了 13 条数据。


开发者真机上手!具身智能,还得这群人补位


开篇提到的 FDU-SONIC 则从数据覆盖入手。团队检查官方提供的 647 条数据后,发现部分物体与场景组合的样本并不充分。于是他们补充不同物体和摆放方式的数据,并加入目标识别,持续将新数据混入训练。训练后,团队再通过真机测试观察模型表现,根据实际结果调整后续的数据补充方向。


四支队伍的技术路线对应了具身模型落地时的几类具体难题。同一颗开源机器人大脑,经过不同团队的调试,拓展出了不同的能力边界。


48 小时里,这群最会调模型的年轻人,把火力全部对准了数据和物理世界本身。放在两年前这很难想象,那时具身智能的叙事还是「谁的架构更巧」。这场比赛里,选手们用行动投了票:当基座模型可用之后,工程的主战场就转移了。胜负手从模型创新,移交给了数据工程和物理直觉。


算法背景不缺

真机经验仍是短板


报名参赛的 1855 支队伍中,参赛者来自不同高校、研究机构和企业,既有具身智能领域的研究者,也有从自动驾驶、互联网算法跨界而来的工程师,甚至有人此前从未接触过具身智能。


细看这场比赛的报名画像,会发现一个更有行业意味的反差。


51.7% 的选手拥有 VLA 或多模态大模型背景,48% 有深度学习训练经验,31.9% 涉及强化学习。相比之下,有过机器人真机调试经验的选手仅仅占了 20.9%。


FDU_SONIC 战队的队长李新宇就是一个例子,他原本是纯软件方向,过往研究主要围绕 GPU 和仿真环境展开。转向具身智能后,他开始尝试把算法带入物理世界。这次比赛最大的收获,是终于有机会让过去停留在算法和仿真中的想法在真实机器人上接受检验。


从这个角度看,这场比赛有另一种读法:它把 15 台双臂真机、算力集群和 647 条数据打包成公共资源,在 48 小时里,临时填平了一次「真机鸿沟」。


参赛队伍也借此调动起各自的技术和资源。「师兄会帮我调真机的对不队」通过社交平台招募队友,组建背景互补的团队;EVA 通过跨城市远程协作,串联起数据采集、模型训练和结果验证。


不同背景和资源的开发者,从同一个开源模型出发,借助赛事提供的统一真机平台和配套资源,完成了一次实践验证。


物理世界的反馈

仿真给不了


更多开发者能够把模型跑起来,只是第一步。换一台设备、换一种物体,甚至只是改变接触环境,机器人还能不能稳定完成任务?这才是具身模型走向真实世界必须回答的问题。


同样是拿起、移动或者放下,真实操作中的摩擦、粘连和受力变化很难在仿真环境中准确还原。


本次挑战赛也暴露出了类似的问题。


初赛通过 Clean 和 Randomized 两类环境,考察模型从规整场景向随机化环境的泛化能力。到了决赛,416 一定行战队发现,数据并非越多越好。团队补采 100 多条数据,却因忽略决赛任务与公开数据集的分布差异,纳入了不少无关的 Corner Case,后续成绩未能超过首轮。一次真机推理中,团队还因不慎移动桌子,导致当天训练的 7000 步 Checkpoint 基本作废。


设备自身的物理特性也会影响模型的执行效果。TARS 战队在调试中发现,机械臂向前伸得越远,关节下坠越明显。模型预测的关节角度本身没有问题,但机械臂受到重力影响,实际执行时会把物体往前推,导致放置失败。团队于是用 500 克负载进行真机测试,结合约 100 条采样数据,拟合机械臂在不同伸展距离下的偏移量,并在推理阶段加入自适应 Offset 补偿。


这些问题在数字世界中无法充分呈现。进入真实环境后,模型需要面对传感器误差、设备差异、重力影响以及每一次接触带来的不同反馈。


开发者真机上手!具身智能,还得这群人补位

沈宇军


蚂蚁灵波首席科学家沈宇军将机器人面临的物理世界挑战归纳为三个方面:机器人的输入天然带有噪声、机器人必须与真实环境发生交互、物理世界不会等待模型推理完成。它们共同指向了通用大模型与具身智能之间一道更深的能力鸿沟。


通用大模型已经能够理解指令、拆解任务,甚至规划复杂的操作步骤。但机器人执行任务时还要理解空间关系、感知接触状态、判断受力变化,并根据环境反馈实时调整动作。语言理解和视觉识别无法自动转化为这些物理操作能力。


这也是沈宇军强调「具身原生」的原因。在他看来,具身原生的核心是正向开发:先弄清楚机器人需要什么,再基于这些需求设计模型。


「如何判断一个具身模型能否适应物理世界」也成为本次挑战赛闭幕式圆桌论坛讨论最集中的话题。


开发者真机上手!具身智能,还得这群人补位


睿尔曼智能创始人兼 CEO 郑随兵分享了一个颇具代表性的案例。在实验室里,模型操作钢轮的成功率可以达到 95% 左右。可放进真实工厂,面对表面沾有油污的钢轮,成功率却跌到了 10% 以下。问题出在一个容易被忽略的细节:钢轮被抓起、放到夹板上时,因为表面油污发生了粘连。


上海交通大学副教授李永露从实时性角度提出另一个问题。在仿真环境中,模型思考时,世界会停下来等它。但在真实机器人任务中,规划与动作执行必须同时接受考验。他提到,在此前开展的一项 GM100 测试中,一些模型在真机 100 项任务上的得分只有 10 分左右。因此,在他看来,评测「一半科学、一半工程」。


智源研究院院长王仲远则把问题引向部署成本:一套方案需要 100 人提前采集数据、10 名工程师驻场,最终达到 90% 的成功率;另一套只需 2 个人、一两个小时就能完成部署,同样达到 90%。两种方案的产业价值显然不同。他还透露,智源将探索建立涵盖仿真、真机和世界模型的评测体系。「真实场景部署所需的时间和成本、异常情况下的安全性,都应该纳入评测考量。」


蚂蚁灵波 CEO 朱兴强调了评测的最后一环:有些泛化问题,只有将模型和机器人本体部署到实际场景中,完成真实任务的部署与复制,才可能暴露出来。「只有完成这一环,评测才能真正闭环。」


把这些观点连起来看,这场 48 小时黑客松恰好长成了行业想要的那种评测:同一颗模型、同一批硬件、同一份初始数据,交给 15 支互不相干的队伍,在不可控的真实环境里跑上两天两夜。它测的不只是成功率,更是模型离开出题人的手之后,真机能做到什么程度。


榜单回答不了的问题,桌子会回答,机械臂会回答。模型有没有真本事,物理世界说了算。


具身生态

还要补齐哪些拼图?


所有黑客松都有同一个宿命:奖杯发完,微信群渐冷,经验留在选手脑子里慢慢消散。


蚂蚁灵波在闭幕式上发布的「开发者生态计划」回答的正是「散场之后」的问题:首期邀请 20 位面向高校教授与科研人员的 LingBot MVP,同时招募 40 位面向一线开发者的 LingBot Developer Expert。前者把模型接进课程和科研,后者把工程实践沉淀为教程、开源工程和评测脚本。这个计划的主题就叫「让每一次实践,成为更多人的起点」。


具身智能需要一个开放的技术底座。蚂蚁灵波将 LingBot 系列模型开放给全球开发者,让不同团队基于同一套基础模型,尝试不同的训练方法、任务方案和工程优化。开发者的参与又为模型带来新的使用场景和体验反馈。


但模型开源,并不意味着开发者已经具备了完整的实践条件。对于很多高校和个人开发者来说,真机仍然是一种稀缺资源。机器人本体价格不低,实验场地、设备维护和数据采集也需要持续投入。不少学校缺少可以让学生长期使用的机器人设备。即使有不错的算法想法,也可能因为没有真机,始终停留在仿真环境中。


这也是具身智能人才培养所面临的一个现实问题。学生需要接触真实机器人,在操作、调试和失败中积累对物理世界的认识。


即使有了真机,开发者还要面对跨本体适配的难题。一台机器人上调好的模型,换到机械结构、关节配置和传感器不同的设备上,未必还能稳定运行。朱兴明确提出,跨构型本身就是一种固有的泛化维度。蚂蚁灵波希望通过基础模型训练,让同一个大脑适配不同本体以及不同模态的执行器、视觉和触觉传感器。这需要进一步完善跨本体适配机制和开发工具,降低模型迁移的成本。


另外一块重要拼图就是评测标准。朱兴指出,科学的 Benchmark 设计是一项复杂的系统工程,需要学术界、模型厂商、场景方以及智源研究院这样的中立机构共同参与。


朱兴也坦言,当前具身智能的模型范式还没有完全收敛,产业应用仍处于早期阶段。


具身智能走出实验室,需要更强的模型,也需要更多动手的人。48 小时的比赛会散场,但 1855 支队伍的报名记录说明,动手的人已经在路上了。


文章来自于"机器之心",作者 "杜伟"。

1
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner

添加客服微信AITNT178,进AITNT官方交流群