一种多模态数据学习分析方法及装置

本发明公开了一种多模态数据学习分析方法及装置，属于数据处理技术领域。方法包括：基于任务需求获取多模态数据集；统计数据集中各模态在样本中的出现次数，将样本总数与出现次数的商值确定为各模态的学习速度因子；计算各模态的学习能力上限和当前学习状态，并将学习能力上限与当前学习状态的差值确定为各模态的学习状态因子；利用多个样本对多模态模型进行训练，并利用损失函数对多模态模型进行模型参数更新，以利用训练完成的多模态模型对多模态数据进行学习分析；损失函数是利用各模态的学习速度因子和学习状态因子构建得到的。本发明能够分析和提升多模态模型对表现不佳的模态的学习能力，确保更平衡有效的多模态学习过程。