一种基于集成学习的多模态零样本分类方法

本发明属于图像分类技术领域，公开一种基于集成学习的多模态零样本分类方法。通过大语言模型生成每个类别的M种文本描述，扩展得到N个类别的M种文本描述；生成P×M组文本特征向量和鲁棒文本特征向量；将每列的文本特征向量分别拼接形成P×M个弱分类器，每列的鲁棒文本特征向量分别拼接形成P×M个强分类器；计算测试图像的特征向量与所有强分类器和弱分类器之间的余弦相似度；通过权重自适应地集成所有强分类器和弱分类器的预测结果。本发明大幅增加分类器数量，提高模型的鲁棒性和泛化能力；优化分类器质量，提高集成学习的有效性；根据分类置信度动态分配投票权重，减少低置信度分类器的影响，从而提升整体分类准确率。