多模态数据处理方法及装置、模型训练方法及装置

本说明书实施例提供一种多模态数据处理方法及装置、模型训练方法及装置，该多模态数据处理方法将待处理数据输入多模态数据处理模型，以便多模态数据处理模型经由推理阶段处理后高效的输出目标数据。具体的，在推理阶段，针对多个模型层中的目标模型层，将待计算的第一模态特征单元集合，利用第一模态稀疏预测器进行稀疏处理，得到第一模态稀疏特征单元集合，通过利用第一模态稀疏预测器对第一模态特征单元集合进行稀疏处理，有效地减少了参与计算的特征单元数量，加速了后续计算过程。其次，将经过稀疏处理的第一模态稀疏特征单元集合输入到目标模型层进行计算，可以减轻多模态数据处理模型的负担，使其在处理复杂任务时更加高效。