一种基于多模态特征融合的抑郁检测方法及装置

本发明公开了一种基于多模态特征融合的抑郁检测方法及装置，方法包括：S1、获取多模态抑郁症数据集；S2、将音频特征和视频特征变换到相同维的空间以进行对齐；S3、将变换后的音频特征和视频特征进行特征增强，并将对齐后的音频特征和视频特征与特征增强后的特征相加形成残差连接；S4、根据样本长度拼接增强后的音频特征和视频特征，将拼接后的音频特征和视频特征进行特征融合；S5、将融合后的特征乘以掩码进行平均池化，使用线性层作为分类头、带逻辑输出的二元交叉熵损失作为损失函数，得到预测值；S6、采用混淆矩阵热力图进行可视化评估结果。本发明能够在降低成本的同时实现高精度的抑郁检测，并支持检测结果的可视化展示。