摘要
本发明涉及心理健康评估领域,公开了一种多模态融合的心理评估报告生成方法、装置及设备。该方法包括:获取用户的视频数据;从视频数据中提取用户的面部表情特征及语音语调特征;获取用户的话语文本;根据面部表情特征、语音语调特征、以及话语文本,通过多模态大模型,得到用户的情绪行为特征;根据情绪行为特征,为用户生成对应的心理评估报告。在本发明实施例中,能实现多维度的心理状态分析,更加全面地反映用户的心理健康状况,从而提高心理状态评估的准确性。
技术关键词
评估报告生成方法
面部表情特征
多模态
语音
报告生成装置
文本
视频
生成设备
数据
心理状态分析
心理状态评估
注意力机制
统计分析方法
深度学习框架
微调技术
可读存储介质
特征提取模块
存储器