一种基于轻量化多模态大模型的机器人感知与决策方法

本申请涉及一种基于轻量化多模态大模型的机器人感知与决策方法。所述方法包括：构建语义体素地图；基于所述语义体素地图采集多模态数据并进行预处理，所述多模态数据包括视觉数据、点云数据与目标语义标签；对预处理之后的多模态数据进行特征提取，并进行动态跨模态注意力融合，得到多模态融合特征；将所述多模态数据同时输入轻量化多模态大模型，进行语义化解析，得到全局空间物体语义描述；基于所述全局空间物体语义描述、目标与方向嵌入向量和多模态融合特征，采用强化学习算法进行分层导航决策，得到目标决策，其中，所述目标与方向嵌入向量为预处理之后的目标语义标签。提高了复杂场景中机器人感知与导航决策的准确率、及时性与适应性。