摘要
本发明涉及一种面向在线教育的多模态情感分析方法,该方法包括得到待分析数据中的文本综合模态表示、语音综合模态表示和视觉综合模态表示,并进行多模态融合,通过多模态方式进行分析,利用不同模态之间的互补性,提升情感识别的全面性和准确性;根据融合结果确定最优小波基函数和最优分解层数,对融合结果进行离散小波变换,得到高频特征和低频特征,对局部频率特性进行精细分离;根据高频特征和低频特征,确定多频图注意力权重,根据多频图注意力权重对高频特征和低频特征进行特征融合,得到多模态情感分析结果,在不同频率层次上捕捉模态间的协同作用,有效融合异构数据,更全面地理解复杂的情感表达,提高了多模态情感识别的准确性。
技术关键词
情感分析方法
高频特征
多模态情感分析
离散小波变换
注意力
节点
内连接结构
文本
语音特征
多模态方式
视觉特征
信号
线性
深度学习模型
邻居
频率
数据