基于双低秩适应的视觉-文本预训练模型在开放类别测试时的训练方法和系统

本发明提供了一种基于双低秩适应的视觉‑文本预训练模型在开放类别测试时的训练方法和系统，包括：在视觉‑文本预训练模型中前馈网络的上采样层嵌入双低秩适应矩阵，即基类和新类低秩适应矩阵，低秩适应技术利用低秩矩阵分解的方法；利用基类低秩适应矩阵让模型在基类数据上训练，通过交叉熵损失函数进行微调；在开放类别测试阶段，利用训练后的基类低秩适应模型对测试数据进行预测，并筛选出低质量预测数据和潜在的新类别数据；通过对新类低秩适应矩阵的调节，逐步适应新类别的数据；根据基类和新类低秩适应模型的联合预测结果，完成分类决策。本发明提高了模型在开放类别环境中的适应性和准确性，能够同时处理已知类别和未见类别的分类任务。