一种多模态数据融合方法及设备

本申请涉及数据融合技术领域，提供了一种多模态数据融合方法及设备。该方法包括：获取多种模态的模态数据；利用模态对应的特征提取模块对模态数据进行特征提取得到模态特征；利用桥梁令牌对所有模态特征进行拼接获取拼接特征；利用特征融合模块对每个拼接特征进行融合得到融合特征；基于所有参数构建损失函数；基于模态的模态数据的数量，计算模态的单模态性能值，并基于所有单模态性能值获取模态的参数更新公式；根据损失函数和所有模态的参数更新公式，对所有特征提取模块和特征融合模块进行优化；利用所有优化后的特征提取模块和优化后的特征融合模块对模态数据进行融合得到最终融合特征。本申请的方法能够提高多模态数据融合的效率。