一种提升多模态模型细颗粒度判别能力的微调优化方法

本发明涉及一种提升多模态模型细颗粒度判别能力的微调优化方法，属于人工智能领域。本发明通过对微调阶段的图像编码器通道引入ArcFace的角度边界辅助损失来优化图像和文本的联合表示学习。该方法包括预训练和微调两个阶段，预训练阶段使用在大规模图像‑文本对数据集上进行训练，微调阶段则基于特定领域数据集通过固定文本分支的全部参数和图像分支的多数参数，并在图像分支结合辅助损失函数调整模型参数，从而实现多模态模型对特定细颗粒场景判别能力的优化提升。