一种面向自动驾驶的多模态融合方法、设备及存储介质

本发明公开了一种面向自动驾驶的多模态融合方法、设备及存储介质，涉及多模态特征融合的技术领域，解决了目前的多模态融合方法在模态缺失场景下，缺失模态特征生成无效的技术问题。该方法包括通过最优传输理论获取完整多模态特征间的对齐矩阵，并对完整多模态特征进行特征融合，得到完整融合特征；获取缺失多模态特征，根据对齐矩阵对缺失多模态特征进行补全，得到补充特征；对补充特征进行特征融合，得到补充融合特征；分别采用完整融合特征和补充融合特征对神经网络进行训练，得到多模态融合模型；将特征缺失的图像输入多模态融合模型，得到图像的多模态融合特征。本发明能够有效生成缺失模态特征，增加模型的适用场景。