摘要
本发明公开了一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法,针对目前模态缺失下多模态融合方法存在的问题:(1)利用生成式的方法,对于每一种缺失模态都需要设计一个生成模型,导致整体模型庞大,不太适用于实际应用;(2)大多数模态缺失方法是指定缺失模态的,限制了灵活性。针对上述问题,本发明使用简单的网络模型,设计对比学习损失和模态间身份一致性损失解耦共享特征和特定特征并构建在特征层的掌纹跨模态生成器或掌静脉跨模态生成器,利用已知模态特征补全对缺失模态特征。不同于现有方法,本发明提出的多模态融合方法具有卓越的鲁棒性,对于在测试集任意模态缺失的情况,仍能取得准确的识别结果,满足多样化应用场景的需求。
技术关键词
跨模态
融合特征
静脉识别模型
掌纹特征提取
时空注意力机制
掌纹图像
模态特征
特征提取网络
掌纹识别
身份
融合方法
编码器
掌静脉图像
样本
分类器