一种基于误差状态卡尔曼网络的多模态融合感知方法

本申请属于多模态融合感知技术领域，公开了一种基于误差状态卡尔曼网络的多模态融合感知方法，包括：步骤1、采集智能设备的多模态数据，并对其进行预处理，生成全局状态矩阵；步骤2、基于全局状态矩阵，构建状态空间模型，定义误差状态矩阵及误差动力学方程；步骤3、计算所述状态空间模型的不确定度；步骤4、采用RNN模型动态求解卡尔曼增益；步骤5、循环查验图像、文本、激光雷达、全球导航卫星系统的数据是否满足融合感知需求，若满足，则更新误差状态矩阵，若不满足，不做融合处理；步骤6、利用不确定度和卡尔曼增益，校准误差状态矩阵，实现多模态融合感知。本申请显著提升多模态融合感知的效果，为多模态融合感知提供了支持。