摘要
本发明属于零样本目标检测领域,公开了一种面向深度学习中的零样本目标检测方法及系统。所述方法包括:建立包括特征提取模块、跨模态对齐模块和课程学习模块的零样本目标检测模型;通过特征提取模块对图像特征和文本特征进行提取;将图像特征和文本特征输入跨模态对齐模块中;将图像特征嵌入与文本特征嵌入进行跨模态相似度计算;得到的跨模态相似度导入课程学习模块;通过课程学习模块增强图像特征与文本特征的融合,并在反向传播过程中通过知识蒸馏动态调节课程学习的难度;得到零样本目标检测模型和检测结果。本发明保留了零样本学习大模型的高性能与高泛化能力的优势,实现跨模态特征间的相互补充与增强,提高了模型的检测性能和鲁棒性。
技术关键词
面向深度学习
跨模态
对齐模块
特征提取模块
样本
文本编码器
残差结构
检测头
语义
注意力机制
视觉
文本特征向量
图像特征向量
线性
随机梯度下降
通道
令牌
系统为您推荐了相关专利信息
图像重建方法
生成对抗网络
重建CT图像
标签
标记
节点
样本
计算机设备
数据处理方法
存储计算机程序