摘要
本发明涉及数据处理技术领域,特别涉及一种融合人脸表情与行为步态数据的帕金森智能评估方法,包括三个步骤:第一,对帕金森病患者的行为步态视频进行数据清洗,并使用YOLOv8模型将患者从视频中分割出来,再利用HRNet提取骨骼关键点,使用STGCN++获取特征;第二,使用StyleGAN生成保留患者身份信息的病前图像,将训练多个深度学习模型用于将收集到的每人的六种基本情绪的面部表情图像进行面部表情分类,并使用效果最好的预训练模型,用于提取患者面部表情的特征;第三,将提取到的步态特征和面部表情特征进行多模态特征融合,用于帕金森病预测。本发明方法显著提高了诊断的准确性,减少漏诊误诊的问题。
技术关键词
智能评估方法
融合人脸
骨骼关键点
帕金森病患者
多模态特征融合
步态特征提取方法
面部表情特征提取
图像
视频数据处理方法
深度学习模型
sigmoid函数
训练判别模型
患者身份信息
表情分类器