一种基于多模态社会最优模型的优化方法

本发明公开了一种基于多模态社会最优模型的优化方法，属于多模态学习领域，特别适用于视频数据的高效融合。本发明提出了一种基于多模态社会最优模型的优化方法，对单模态在多模态学习中的梯度大小和方向进行调整，并定义了多模态效用与多模态嫉妒，用于分别衡量各模态对模型性能的贡献以及减少模型对特定模态的偏向性。通过该方法，实现了多模态数据间的高效融合。本发明所提出的模型能够有效缓解多模态学习中的模态不平衡问题，具有广泛的应用前景，可推广至多种多模态融合场景。