一种非完整多模态学习条件下的显式依赖建模方法及装置

本发明公开了一种非完整多模态学习条件下的显式依赖建模方法及装置，属于建模技术领域。方法包括：基于任务需求获取多模态数据集，利用图神经网络根据数据集中包含的所有模态构建可学习的有向完全图；根据训练样本中模态包含情况对有向完全图进行剪枝，得到剪枝图；将训练样本中所包含模态的模态特征和对应的剪枝图输入至特征融合网络中，以使特征融合网络基于多模态融合特征输出任务结果；利用输出的任务结果与训练样本的标签构建的第一对比损失，对图神经网络和特征融合网络的网络参数同时进行更新，得到训练完成的图神经网络。本发明中图神经网络输出的有向完全图，能够显式表达模态之间的依赖关系。