摘要
本公开实施例中提供了一种基于扩散模型和联邦模型的不完全多模态情绪识别方法,属于数据识别技术领域,具体包括:客户端将全局模型下载到本地;客户端通过浅层特征提取器提取不完全多模态特征,将缺失的模态特征输入为随机噪声,将提取到的原有特征输入全局模型进行逆向扩散解噪,最终补全缺失的模态特征;将补全后的全模态特征送入情绪分类器中进行情感分类任务;中心节点接收客户端上传的模型参数,对各客户端进行贡献度评价,计算客户端声誉,综合客户端声誉择优决定每个客户端的最终权重,按照最终权重进行聚合;中心节点根据本地模型集合和聚合后的权重更新全局模型。通过本公开的方案,提高了识别精准度和安全性。
技术关键词
客户端
分类器
多模态情绪
浅层特征提取
联邦模型
表达式
随机噪声
多模态特征
识别方法
音频特征
数据识别技术
重构
文本
节点
参数
图像