基于多模态动态面部表情的帕金森病辅助诊断方法及系统

本发明公开了一种基于多模态动态面部表情的帕金森病辅助诊断方法及系统，包括：获取待诊断患者模仿不同面部表情的视频，提取面部图像序列；将不同表情的面部图像序列输入至基于ViT网络的视觉特征提取模块，提取视觉特征；将描述不同面部表情的文本输入至基于CLIP模型的文本处理模块，提取文本特征；计算两种模态特征之间的余弦相似度以融合特征，获得多维动态面部表情强度特征并提取其统计指标值，得到优化表情强度特征；将优化表情强度特征输入至基于LSTM的分类网络，输出最终的辅助诊断结果。本发明通过视觉与文本特征的跨模态融合，弥补纯视觉特征的不足，提升对不同情绪类别的识别精度，为帕金森病辅助诊断提供准确的参考依据。