摘要
本发明公开了一种面向噪声标签的自步哈希多模态学习方法,包括以下步骤:S1:获取所有模态的特征数据集和标签数据集;S2:为每个类别初始化一个哈希中心;S3:使用特定于模态的子网络将每个模态特征投影至一个公共汉明空间并计算每个样本的损失,再使用自步函数区分出噪声样本的同时,再对其他样本损失进行加权,最后优化所有子网络和哈希中心;S4:重复S3优化所有子网络和哈希中心直至收敛;S5:输入各个模态的测试集样本,使用特定于模态的子网络获得哈希码;本发明不仅能够通过评估每个实例的学习难度识别出噪声实例,还能够从易到难学习汉明空间中的每个实例,使模型同时兼具更强的鲁棒性和泛化能力。
技术关键词
多模态学习方法
噪声标签
噪声样本
模态特征
识别出噪声
网络
抗噪声
因子
跨模态
鲁棒性
数据
参数
元素