摘要
本发明公开一种基于多模态的智能交互AD筛查系统、装置,包括:量表测试模块,用于生成AD筛查测试;数据采集模块,用于采集受试者完成AD筛查测试过程的多模态数据;所述多模态数据包括受试者的眼动数据、微表情数据、笔迹数据以及步态数据;多模态分析模块,用于训练多模态信息融合模型;通过训练后的多模态信息融合模型分析所述多模态数据,对照标准MoCA‑B量表对所述多模态数据进行筛查,输出AD筛查结果;训练多模态信息融合模型过程中,当存在AD筛查结果与实际结果不符时,通过参数调整策略调整所述多模态信息融合模型的参数。本发明无需受试者佩戴多种仪器即可获取多模态数据进行AD筛查,识别准确率高。
技术关键词
多模态信息融合
筛查系统
微表情数据
眼动数据
关键点
主成分分析算法
分类网络
样本
摄像设备
数据采集模块
步态轨迹
面部
数据采集单元
步态特征
分析模块
坐标
量表
测试模块