摘要
本发明公开一种基于人脸视频多模态生理特征融合的帕金森病评估方法及系统,涉及计算机视觉及生理信号处理等多个技术领域,所述方法包括以下步骤:S1、基于连续人脸视频流,提取rPPG信号;随后计算心率变异性关键参数,获得心率变异性特征;S2、基于IPAST分析人脸视频中眼部注视点动态变化,提取关键的眼动行为参数,通过卷积门控循环单元得到眼动行为特征;S3、将心率变异性特征与眼动行为特征输入多模态融合网络结构中,输出连续性风险评分或病情状态标签,用于辅助医生进行早期帕金森风险评估。本发明通过深度整合视频采集的多种生理信号,构建多模态特征协同分析框架,既突破了传统量表评估的主观性局限,又克服了单一生物标志物检测的片面性缺陷。
技术关键词
多模态生理
门控循环单元
融合网络结构
人脸
心率
注视点
特征融合网络
序列
特征提取模块
光流跟踪算法
参数
因子
时域特征
注意力
频域特征
帕金森病患者
视频流
系统为您推荐了相关专利信息
攻击检测模型
对象
策略
存储计算机可执行指令
解码器
会务管理系统
文档生成模块
子系统
人工智能交互
资源调度算法
风险预测方法
风险预测模型
门控循环单元神经网络
递归神经网络
数据