一种基于模态缺失域噪声不确定性的多模态数据融合方法

本发明涉及一种基于模态缺失域噪声不确定性的多模态数据融合方法，结合联合嵌入不确定多模态数据融合策略和不确定性下的多模态稳定表示策略，对时空在线校准后的数据进行融合；其中，联合嵌入不确定多模态数据融合策略引入解耦表示学习，使用服从多元高斯分布的概率嵌入，并通过重参数化技巧实现反向传播，同时引入正则化项，利用KL散度约束概率嵌入与正态高斯分布的逼近程度；不确定性下的多模态稳定表示策略针对单模态噪声不确定性量化建模，并引入KL散度，对不同模态的语义一致性和同分布进行约束，同时引入自监督对比学习策略，实现不确定性增益的单模态稳定表示学习。与现有技术相比，本发明可以进一步提升多模态数据融合的准确性和鲁棒性。