一种基于多模态异常值合成的视觉语言模型分布外样本检测方法

本发明公开了一种基于多模态异常值合成的视觉语言模型分布外样本检测方法，包括：基于少量分布内图像样本，通过对图像内容的语义特征分析与采样，生成与分布内语义密切相关的、高质量的图像和文本形式的多模态分布外样本，然后构建融合分布内样本与合成分布外样本的图像原型与文本原型，在推理过程中，采用图像与文本双模态原型匹配机制，同时进行相似度计算，接着在此基础上，提出多模态原型匹配得分综合评估待测样本与分布内类别之间的相似性。本发明能够基于少量分布内样本自动生成具有图像和文本标签的分布外样本，提升模型在多模态分布外检测任务中的泛化能力和鲁棒性。