基于强化学习与视觉语言模型的动态物体定位方法及系统

本发明公开了一种基于强化学习与视觉语言模型的动态物体定位方法及系统，该动态物体定位方法包括以下步骤：S1：采集多模态传感器数据；S2：通过视觉语言模型提取所述多模态传感器数据中的视觉特征和文本特征；S3：构建强化学习策略网络，将所述视觉特征和所述文本特征进行融合得到融合后的多模态特征，基于所述多模态特征形成动态环境的状态空间和动作空间，以最大化奖励函数为目标优化强化学习策略网络，输出高维特征向量；S4：根据所述高维特征向量，生成物体的识别结果和位置信息；S5：将物体的识别结果和位置信息反馈给所述强化学习策略网络，以更新强化学习策略网络的参数，实现在线自适应优化。本发明大大提高了动态场景下的位姿估计精度。