一种基于预训练和特征融合的认知功能退化预警系统及方法

本发明公开了一种基于预训练和特征融合的认知功能退化预警系统及方法；该系统包括预处理模块、语音特征提取模块、语言特征提取模块、多模态特征融合模块、特征分类模块和预警输出模块；预处理模块对音频数据进行预处理，并对预处理后的音频数据进行转录，获得语言文本数据；本发明基于被测者的音频数据，分别通过语音特征提取模块、语言特征提取模块提取语音特征和语义特征，并将两者拼接后基于多头注意力机制的特征融合策略，提高识别关键特征的能力，降低在多模态特征融合过程中冗余信息对模型分类性能的负面影响，从而利用语音语义多模态数据提高认知功能退化识别的准确性和鲁棒性，实现认知功能退化的预警。