摘要
本发明属于图像处理技术领域,为了解决现有面瘫分级不准确的问题,提出一种融合多模态数据的面瘫分级方法、系统、设备及介质,通过异构特征交互注意力机制,使基于先验知识的手工面瘫特征与包含时空信息的深度视觉特征进行联合建模;基于目标个体的单帧面部图像所提取的静态图像特性和关键点特征提取多尺度特征,通过将表征局部不对称的小尺度特征逐步传递到中尺度特征和大尺度特征中,并通过动态权重分配自适应进行特征融合得到静态对称特征;构建动态面部特征与静态对称特征之间的双向信息交互通道,使生成的融合特征同时包含空间结构不对称与运动异常的完整病理信息,使诊断分级更准确。
技术关键词
深度视觉特征
面部特征
交互注意力
关键点特征提取
双模态
双向信息交互
动态权重分配
多模态
异构特征
融合特征
多尺度特征
交叉注意力机制
手工
图像
计算机
数据
系统为您推荐了相关专利信息
输电线路检测方法
输电线路检测系统
融合特征
双模态
超分辨率
协作机械臂
双模态
智能协作
肌电信号反馈
电机定位精度
监测报警方法
面部特征点
光照补偿算法
智能手表
运动特征