一种基于跨模态语义对齐和交互学习的多模态情感理解方法

本发明公开了一种基于跨模态语义对齐和交互学习的多模态情感理解方法，方法包括：获取多模态的初始数据；对各模态的初始数据进行语义量化处理；根据语义特征集合，进行文本模态主导的跨模态特征聚合学习；根据多模态语义聚合特征表达，进行多模态特征的模态内语义关系学习，确定模态内语义Tokens之间的上下文关系，并通过与文本模态进行语义对齐，增强不同模态特征表达的语义一致性；采用多模态融合策略，将多模态的特征进行融合处理，得到融合特征；根据融合特征建立情感理解模型，并根据情感理解模型实现多模态情感理解处理。本发明实施例能够提升情感分析的性能，利于促进不同模态的有效融合，可广泛应用于计算机技术领域。