一种基于多模态融合的抑郁症识别方法、系统及存储介质

本发明公开了一种基于多模态融合的抑郁症识别方法、系统及存储介质，包括：对获取的视频数据进行短时序时间窗口划分，将视频数据分割成多个短时序视频单元；采用图文对比预训练模型的图像编码器来处理每个短时序视频单元，并得到视频特征向量；通过大语言模型生成描述，使用图文对比预训练模型中的文本编码器提取语义信息，并得到文本特征向量；计算视频特征向量和文本特征向量之间的相关度，再进行视频特征向量和文本特征向量的融合，得到特征融合向量；采用双向长短时记忆网络对特征融合向量进行分类，输出识别结果。本发明有效增强了模型对视频和文本关联特征的关注度，提高了抑郁症识别的准确率。