摘要
本发明实施例涉及基于图神经网络对齐原型的多模态融合类增量学习方法,其特征在于,所述方法包括:获取基于预训练模型的原类增量学习模型;其中,原类增量学习模型包括图像编码器和增量学习类别原型;在嵌入调制过程中,使用嵌入调制模块对经过所述图像编码器生成的嵌入进行调制处理,得到调制嵌入用于提取新的类别原型;使用基于图卷积网络的多模态原型相似性对齐模块对齐所述增量学习类别原型到视觉‑语义共现空间下的类别相似关系;根据所述图像编码器和更新后的增量学习类别原型形成增量学习图像分类模型。
技术关键词
增量学习方法
原型
图像编码器
对齐模块
混合损失函数
预训练模型
图像分类模型
节点
网络
视觉
文本
表达式
语义
关系
非线性
三元组
分类器
切片