基于Transformer的模态异质摘要情感分析系统

基于Transformer的模态异质摘要情感分析系统，属于信息挖掘技术领域。为了解决传统模态融合方式的情感分析方法存在互补信息挖掘不充分的问题，进而导致了情感分析准确率欠佳的问题。本发明包括预训练特征提取模块、多模态摘要生成模块和模态融合模块；其中，预训练特征提取模块包括对文本进行标记和编码的文本特征提取单元，以及对语音进行离散化和编码的语音特征提取单元；多模态摘要生成模块首先对段落进行编码并构建一个表示句子间相似度的无向加权图，基于图卷积网络的聚类划分子图，利用图结构信息对句子进行编码；将图编码层和段落编码层得到的特征向量进行融合并生成摘要序列；模态融合模块基于摘要文本序列和语音特征进行情感分类。