摘要
本发明公开一种基于状态空间模型与双流融合的微表情识别方法及系统,涉及表情识别技术领域,包括:提取微表情连续视频帧序列的起始帧和顶帧图像;将起始帧和顶帧图像输入至基于双流融合网络的微表情识别模型中,提取光流图像并对顶帧图像和光流图像分别进行面部关键点检测和剪裁操作;再经图像块嵌入操作,获取剪裁后顶帧图像的纹理特征和光流图像的运动特征;两特征分别通过并行的多层双向Mamba融合模块,从正反两方向学习各图像块间的全局依赖关系和局部相关性,经特征融合后提取深层图像特征和运动特征;经双流交叉注意力分类模块对两种模态的深层特征进行交互,学习综合性特征,并联合利用多个分类器,更准确识别微表情类型并输出。
技术关键词
表情识别方法
状态空间模型
运动特征
面部关键点检测
面部五官
时序特征
多任务级联卷积神经网络
注意力
纹理特征
图像块
矩阵
图像形变特征
分类器
空间模块
表情识别技术
表情识别系统
序列特征
视频帧