一种基于多模态优化特征进行草药植物小样本图像分类系统及生成方法

本发明实施例提出了一种基于多模态优化特征以进行草药植物小样本图像分类系统及生成方法。其中，分类系统以一个文本编码器、一个图像编码器、提示模块和输出层构成。该系统是一个运用视觉模态和文本模态的多模态结构，利用了两个模态各自的特性使系统能够提取出更有效的特征信息；利用了小样本学习的特性，使用较少的样本数量使系统达到了比较高的整体准确率。另外，系统的生成方法包含以下步骤：(1)搭建系统开发平台；(2)草药植物数据集划分及读取；(3)构建草药植物分类系统；(4)分类系统的训练、验证和测试；(5)对分类系统进行评价。通过分类系统的构建及生成方法的提出，从而可以达到有效地进行草药植物小样本分类的目的。