摘要
本申请实施例提供一种多模态人因智能人员状态识别方法、装置、边缘计算设备及介质,通过获取生理信号数据,所述生理信号数据包括人员的多模态的生理信号数据;对所述多模态的生理信号数据进行特征提取,得到多模态分别对应的目标特征向量;将所述多模态分别对应的目标特征向量输入多模态瓶颈变换网络进行注意力计算,得到多个融合瓶颈令牌的值,所述多模态瓶颈变换网络包括多个融合瓶颈令牌单元;基于所述多个融合瓶颈令牌的值进行人员状态识别。也就是,采用多模态生理信号通过注意力计算得到的多个融合瓶颈令牌的值进行人员的状态识别,融合瓶颈单元提高了不同模态信息的融合性能,有利于提高识别结果的准确性。
技术关键词
令牌
瓶颈
状态识别方法
注意力
多模态生理
信号
数据
状态识别装置
独立成分分析
特征提取网络
可读存储介质
特征提取模块
处理器
分类网络
程序
指令
识别模块