一种基于多模态预训练模型的类增量图像分类方法及系统

本发明公开了一种基于多模态预训练模型的类增量图像分类方法及系统，方法包括：获取类增量学习数据集，对于每个任务，模型训练包含两个阶段，分别是任务内训练阶段和跨任务微调阶段；任务内训练阶段：对于当前任务的数据，采用任务特定的适配器对预训练视觉语言模型进行微调，实现任务内类别之间可分；跨任务微调阶段：引入一个图像特征表达的映射模块，实现将任务特定特征空间的特征映射到任务共享的特征空间，实现跨任务类别可分；推理时，采用一种基于预测不确定性的推理策略进行图像分类。本发明能够解决跨任务间存在类别混淆问题，提高选择输出特征的精准度。