基于语音与表情特征多模态融合的AD筛查方法

本发明公开了基于语音与表情特征多模态融合的AD筛查方法，涉及计算机视觉与医疗诊断技术领域。包括：对人脸图像数据进行关键帧提取、人脸检测与筛选，以及图像标准化处理；同时对语音数据进行滤波器组Fbank特征提取；对于语音模态，利用局部和全局特征融合模块提取语音特征，对于人脸模态，通过多阶动态特征交互网络捕捉时序信息，结合自适应层级注意力融合模块突出重要特征，并通过判别式嵌入生成模块提升特征的判别性；对各模态数据独立进行特征提取和分类标签预测，通过深度强化学习动态优化特征提取路径；根据各模态的置信度分数，采用加权平均、贝叶斯融合或深度置信网络等融合策略，整合语音和人脸表情图像的特征信息，生成最终的分类决策。