摘要
本发明属于人工智能与模式识别领域,公开了一种基于智能手机多模态数据的轻型帕金森综合征行为评估方法。利用智能手机在无任何外部设备的条件下,通过远程、居家的方式获得多模态数据,包括行走数据、敲击数据和语音数据。通过将惯性传感器数据、语音数据均转换为包含丰富特征信息的图像,并采用计算机视觉技术对其进行处理,有效的提取了关键特征信息。本发明提出了一种融合多模态数据特征的分类模型,解决了特征提取不充分、容易过拟合的问题,实现了对轻型帕金森综合征行为的准确评估。
技术关键词
帕金森综合征
多模态
卷积神经网络模块
智能手机
特征提取网络
惯性传感器数据
多层感知机
计算机视觉技术
语音
通道
验证方法
注意力机制
加速度
模式识别
图像
外部设备
超参数