多模态信息检测模型的训练方法、检测方法及系统

本公开关于一种多模态信息检测模型的训练方法、检测方法及系统，所述训练方法包括：获取多模态训练样本集和样本标注信息；针对多模态样本信息中的每个模态，通过屏蔽在该模态之外的其他模态的信息，得到单模态样本集；分别将多模态训练样本集和单模态样本集输入到多模态信息检测模型中，得到多模态预测和单模态预测；基于多模态预测、单模态预测和样本标注信息，确定预测损失；利用预测损失，对多模态信息检测模型进行训练。本公开的多模态信息检测模型的训练方法、检测方法及系统可以解决不同模态的学习程度不同导致难以提升模型准确性的问题，可以充分学习到每个单模态的特征，在训练中充分利用各模态的信息，提升模型的训练效果和准确性。