用于提升视觉语言模型组合推理的视觉特征生成方法

本发明提供了一种用于提升视觉语言模型组合推理的视觉特征生成方法，属于跨模态语义增强及图像特征学习技术领域，包括构造数据集，获取正面描述与负面描述之间的语义偏移生成差异向量；通过所述差异向量生成视觉扰动，引导图像特征修改，获取与文本的负面描述保持语义一致性的视觉特征；将生成的视觉负面特征应用于视觉‑语言模型的对比学习，优化模型在组合推理任务中的表现。优点在于：能够通过文本正负样本的语义偏移引导生成对视觉特征的扰动向量，充分挖掘文本和图像之间的互补信息，提高了视觉负面特征生成的质量；在评估过程中更有效地处理复杂的语义信息，最终提升模型的在处理组合推理任务中能力。