摘要
本发明公开了一种基于策略对比解码的机器人基础大模型推理去偏方法,包括以下步骤:步骤1:获取机器人基础大模型的行为轨迹;步骤2:对行为轨迹中视觉观测图像os中的目标物体进行掩码,得到掩码后的视觉观测图像S为最大时间步长;步骤3:分别计算视觉观测图像os和掩码后的视觉观测图像的动作概率pt和步骤4:根据动作概率pt和计算对比动作概率分布取对比动作概率分布中最大值,得到动作概率最大对应的动作,执行该条件下动作;本发明通过物体跟踪掩码,提升了RFMs推理结果的鲁棒性;在推理过程中将RFMs的注意力重定向到指令相关的视觉线索,消除视觉观察中的虚假相关性。
技术关键词
机器人
策略
视觉
基础
图像
掩码方法
轨迹
物体
解码方法
鲁棒性
噪声
注意力
线索
指令
参数