一种基于多模态融合的抑郁症分类方法及系统

本发明公开了一种基于多模态融合的抑郁症分类方法及系统，涉及多模态数据处理与智能识别技术领域。包括：数据获取模块，用于获取心电信号、脑电信号、面部表情视频和胃肠环境呼气信号；预处理模块，用于对四种模态信号进行预处理操作；数据融合模块，用于利用不同的深度学习子网络分别对四种模态信号进行高阶特征提取与降维，考虑实时性与不同模态间的相互关系，将降维后的四种模态信号基于注意力的软融合策略进行特征融合；分类检测模块，用于利用深度学习分类模型对综合特征进行分类检测。本发明采集四种模态的实时信号，结合多模态信号预处理、多域特征提取、多模态融合及深度学习分类模型，实现对抑郁症状态的高效精准识别和动态监测。