摘要
本发明涉及协作会话情感识别方法、装置、电子设备及存储介质,该方法包括:获取在线协作学习中的多通道会话行为数据,基于多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集。通过不同的预训练模型分别抽取清洗后的多模态协作会话数据中的单模态特征,以将单模态特征映射至相同的特征维度空间。构建具有动态上下文窗口的情感交互图,并在文本模态图对应的节点进行特征初始化处理,以引入外部知识增强。将多个情感交互图学习到的节点特征进行拼接,得到融合特征,并将融合特征作为会话情感预测层的输入,以会话节点的情感标签为输出,构建会话情感识别模型。调用会话情感识别模型识别出当前多通道会话行为数据中对应的情感标签。
技术关键词
协作会话
情感识别模型
情感识别方法
在线协作
多模态
模态特征
融合特征
多通道
动态上下文
数据
跨模态
节点特征
文本
标签
注意力机制
音视频采集设备
情感识别装置