一种层级关系一致的多模态情感理解方法及系统

本发明公开了一种层级关系一致的多模态情感理解方法及系统，设计了多级一致性方法，分别在特征间、模态间、样本间三个不同层级设置一致性来解决此问题。首先在特征间设置了语义一致性，以增强模态内同情绪的聚合，从而加强模态内交互。其次，在模态间设置了表征一致性，通过加强表征的一致来增强模态同步。为了进一步加强不同模态的同步，在样本间设计了一种几何一致性算法，通过保证不同样本的不同模态间的几何一致性，从而增强模态间同步。如此策略缓解了缺乏模态内交互与模态间同步的影响。本发明通过广泛的实验验证了本发明公开的层级关系一致的多模态情感理解方法及系统在多媒体多模态情绪理解方面的有效性与优越性。