摘要
本发明具体涉及一种基于个性化情感特征生成的多模态自然对话语境情感分析方法,包括:获取训练集;构建多模态情感分析模型,用于基于输入的视觉、声音和文字三模态特征,通过跨模态注意力机制进行特征融合,输出情感分类结果,并计算各情感类型的聚类中心特征;利用初始化信息生成特定说话人的个性化多模态特征;使用训练集对多模态情感分析模型进行训练,利用特定说话人的个性化多模态特征对训练阶段模型进行参数微调,优化针对特定说话人的情感识别能力;将微调后的多模态情感分析模型应用于新对话数据,输出最终情感分类结果。本发明将说话人相关的个性化自适应过程与普适多模态情感分析模型结合,提升了整体的识别效率和精度。
技术关键词
情感分析模型
情感分析方法
多模态特征
情感特征
数据生成模型
注意力机制
跨模态
级联
处理器
阶段
训练集
计算机程序产品
生成特征
标签
图像
语句
视觉