基于混合专家注意力网络的多模态数据预测方法及装置

本发明涉及基于混合专家注意力网络的多模态数据预测方法及装置，该方法包括：采用交叉注意力机制对多模态的样本数据进行特征提取得到的初始特征进行深度交互与融合，得到不同模态对应的交互特征，根据所有模态对应的交互特征，通过不同模态对应的专家网络进行预测得到每种模态的样本数据对应的预测结果，根据所有模态的样本数据对应的预测结果和真实标签确定的第一损失函数值，同一样本数据对应的不同模态的初始特征确定的第二损失函数值，不同专家网络对于同一种模态的样本数据对应的预测结果确定的第三损失函数值，训练得到预测模型，以基于预测模型对待处理的多模态数据进行预测。通过本发明的方法，显著提升了多模态融合精度与鲁棒性。