摘要
本发明公开了一种基于动态提示信息的缺失模态的多模态图像识别方法。本发明提出了两个创新点:(1)本发明针对的是在训练和测试阶段均缺失的场景下,使模型更具鲁棒性,能够更好地适应真实生活中多变的条件。(2)本发明提出了动态提示信息的融合模块,增强了剩余模态间充分的交互,提升了多模态识别任务性能。并且可以根据识别样本的难易程度,动态选择融合模块,融合未缺失的模态信息,提高模型对复杂情境的应对能力。
技术关键词
特征提取网络
掌静脉图像
加权特征
图像识别方法
融合特征
动态
多模态
更新模型参数
注意力
融合策略
数据
非线性
标签
模块
鲁棒性
训练集
通道
样本
场景
系统为您推荐了相关专利信息
无人机定位方法
非视距识别
融合特征
神经网络模型
卷积模块
时间序列预测方法
残差数据
协方差矩阵分解
时间预测模型
融合特征
船舶检测方法
特征选择
分支
多尺度特征融合
通道
图像识别方法
卷积模块
特征提取网络
融合特征
逻辑
融合特征
预训练模型
语义特征
自然语言文本
键值