摘要
本发明涉及小样本图像分类技术领域,具体为基于任务驱动结构的多粒度图文原型匹配的小样本分类方法;所述方法包括:构建支持集与查询集;将两者输入多粒度特征集提取网络,图像模态输入改进型ResNet12及嵌入的任务驱动映射器选择模块组成的多层级图像特征提取网络提取低、中、高层级图像特征;文本模态先后3次调用大语言模型LLM递进生成词级、句级、段落级语义描述,并结合文本编辑器形成多视角文本特征;图像与文本特征集输入语义图交互融合网络,通过节点与边构建、跨模态注意力、图卷积与门控机制实现多层级信息融合;融合特征经多粒度原型匹配网络计算各层匹配得分,从而进行分类预测,训练阶段采用多粒度复合加权损失函数优化模型性能。
技术关键词
样本分类方法
多粒度特征
文本
融合特征
层级
语义
驱动结构
原型
加权损失函数
图像特征提取
图文
匹配网络
多视角
跨模态
特征提取网络
代表
系统为您推荐了相关专利信息
视频内容分析方法
文本识别模型
字幕
视频编码器
音频
训练深度神经网络
受保护
文本
信息编码
深度神经网络模型
参数优化模型
硅肥
参数优化方法
农业数据采集
标签数据处理