摘要
本发明公开了基于实例级软标签对齐的跨模态实例检索方法,涉及多媒体检索技术领域,包括如下步骤:S100、数据集准备;S200、特征提取;S300、实例特征集合生成;S400、软标签生成;S500、特征对齐;S600、损失函数整合;S700、模型训练完成;S800、跨模态实例检索。本发明引入了实例级特征的对齐机制,通过实例发现与软标签引导,提升了模型对局部细粒度语义和实例信息的理解能力,不仅有效提高了跨模态检索的匹配精度,还扩展了模型在跨模态实例检索任务中的应用范围,进一步增强了多场景适用性和实用价值。
技术关键词
实例检索方法
图像全局特征
语义特征
图像编码器
文本编码器
标签
全局视觉特征
跨模态
联合损失函数
图像块
全局特征提取
多媒体检索技术
预训练模型
序列
线性
注意力机制
样本
系统为您推荐了相关专利信息
跨模态检索方法
语义
适配器
文本编码器
目标语言句子
OCR识别方法
语义角色标注
融合多源信息
在线增量学习
上下文特征
个性化推送方法
大数据
编码向量
密度
神经网络模型