一种基于幻觉增强的跨模态检索模型优化系统及方法

本发明公开了一种基于幻觉增强的跨模态检索模型优化方法及系统，包括：类幻觉文本生成模块基于原始训练数据集、语言模型及提示模板生成类幻觉文本；数据集构建模块将类幻觉文本与原始图像‑文本对合并为增强训练数据集；微调优化模块通过图像或文本编码器分别编码图像、原始文本及类幻觉文本特征，计算文本到图像的对比损失和图像到文本的幻觉增强对比损失，结合改进的对比损失函数优化编码适配器与文本编码器的模型参数。本发明解决了智能驾驶场景检索中多模态模型幻觉干扰导致的精度低、效率差问题，通过利用幻觉生成数据增强与动态损失约束，显著提升跨模态检索的准确性。