多模态数据交互信息提取方法、装置、设备、产品和网络训练方法

本发明公开了一种多模态数据交互信息提取方法、装置、设备、产品和网络训练方法，涉及多模态表示学习领域，用以有效提取多模态数据的协同交互信息。本发明利用多模态数据样本训练网络，利用训练的网络提取多模态数据的协同交互信息。网络对输入的各模态数据进行数据增强和编码，通过融合每个模态特征得到冗余信息，通过融合每个经随机遮罩后的模态特征得到协同信息，通过分别对各模态特征进行特征增强得到独立信息。以最小化三种信息的训练损失为目标训练该网络。本发明能够提取丰富的协同交互信息，并且降低网络训练的计算量。