一种基于多模态提示调优的跨类别图像分类系统及生成方法

本发明实施例提出了一种基于多模态提示调优的跨类别图像分类系统及生成方法。其中，分类系统以一个文本编码器、一个图像编码器、域感知特征融合模块、双端自适应模块和输出层构成。与传统的视觉语言模型不同之处在于，该系统采用域感知特征融合模块和双端自适应模块微调形成富含通用知识和类别领域知识特性的域感知共享提示。该提示文本可以有效提升本发明对可见类和不可见类的泛化性能，有助于本分类系统在其他下游任务上拥有良好的表现。为了着重体现泛化的特性，本实例通过在三个不同场景模式下的数据集实验证明泛化性能。另外，本系统的生成方法包含以下步骤：(1)搭建系统开发平台；(2)图像数据集划分及读取；(3)构建图像分类系统；(4)分类系统的训练、验证和测试；(5)对分类系统进行评价。通过分类系统的构建及生成方法的提出，从而可以达到有效地进行小样本图像分类的目的。