一种基于强迫提示词学习的视觉语言模型分布外检测方法及装置

本发明公开了一种基于强迫提示词学习的视觉语言模型分布外检测方法及装置，方法包括：获取下游任务分布内图像数据集划分小样本训练集和分布内外测试集；构建视觉语言模型分布外检测框架，利用强迫提示词与初始提示词分别获得强迫文本特征与初始文本特征，并结合图像特征计算交叉熵损失；使用预训练的视觉语言模型权重对图像与文本编码器端的参数进行初始化，在构建的小样本分布内训练集上进行端到端的迭代训练，优化损失；将分布内与分布外测试集输入训练好的视觉语言型，结合模型输出的图文特征与分布外检测得分数，输出分布外检测结果。本发明在不牺牲视觉语言模型分类性能的同时，有效提升模型检测分布外样本的能力。