摘要
本发明公开了一种基于PMI文本增强的联合表征心理状态评估方法及系统,涉及心理评估技术领域,其中所述的方法包括如下步骤:S1:构建心理状态评估模型的训练样本集;S2:对采集的视频数据、语音数据和文本数据进行预处理,并提取各模态深层特征,并构建文本表达的PMI矩阵;S3:利用文本PMI矩阵优化文本模态的注意力机制,并构建三重注意力融合机制,实现被测者多模态深层特征的融合;S4:通过多模态融合特征对心理状态评估器进行训练,通过调整参数得到心理状态评估模型;S5:通过心理状态评估模型进行心理评估。本发明的方法,在缺失某些模态数据的情况下,仍然能够保持较高的评估准确性。
技术关键词
心理状态评估方法
文本
音频
融合特征
注意力机制
多模态
矩阵
视频
训练样本集
多层感知机
模型训练模块
心理评估技术
Softmax函数
数据采集模块
面部表情识别
系统为您推荐了相关专利信息
Delaunay三角网
建筑物
语义特征
数据
三角形
自动编码器
图聚类方法
卷积网络模型
推荐系统
注意力
多头注意力机制
估计算法
GRU神经网络
深度学习网络模型
信号传输模型
欺诈检测方法
图片
广度优先搜索算法
交易特征
节点