基于细粒度模态对齐的多模态对话情感识别方法及系统

本公开涉及多模态情感识别技术领域，提出了一种基于细粒度模态对齐的多模态对话情感识别方法及系统，首先，通过细粒度模态对齐，避免了简单融合方式可能引入的冗余信息，从而减少了计算负担，提高了情感识别的效率；其次，通过模态间潜在变量的对齐，解决了模态间语义鸿沟问题，提升了不同模态之间信息的互补性和协同作用。再次，通过Transformer模型的自适应融合，模型能够自动调整模态间的融合权重，进一步提升了融合的精度，最终提高了情感识别的准确性。