摘要
本发明公开了一种基于全局和局部图文对齐的小样本学习和分布外检测方法及系统,方法包括:采集图像数据和对应的类别标签获取数据集,将数据集进行处理并将数据集划分为训练集、分布内测试集和分布外测试集;构建分布外检测模型并对模型进行训练,训练包括两个阶段,训练前阶段对训练集的各类图像数据进行文字描述,获取文本描述,训练阶段提取全局和局部的图文特征,筛选出其中的相关与不相关的局部图像特征,将微调后的文本与相关局部图像特征进行局部监督对比学习,利用图像特征和微调后的文本特征计算全局和局部的匹配得分,完成模型训练;将完成训练的模型进行分类预测概率检测。本发明实现了同时提升小样本图像分类和小样本目标检测的性能。
技术关键词
局部图像特征
外检测方法
文本
文字特征
图文
预测类别
样本
图像特征提取
特征提取器
模型训练模块
匹配模块
训练集
标签
数据采集模块
注意力
阶段
视觉
系统为您推荐了相关专利信息
合规检测方法
语句
覆盖率
编码向量
构建分类模型
测试块
机器翻译方法
翻译模型
目标语言句子
深度学习模型
移动健康管理系统
答案
疾病
文本
移动健康管理方法