基于细粒度图文语义对齐的鲁棒性增强训练方法与系统

本发明公开了一种基于细粒度图文语义对齐的鲁棒性增强训练方法与系统，它们是相对应的方案，方案中：针对假阴性和语义丧失两大问题，分别提出去噪对比损失和基于参数合并策略的规则约束管道，前者通过分布分解的策略，以减少假阴性的消极影响，后者设计了更严格的构造规则以消除部分可控的语义丧失样本，基于上述两种针对性策略的帮助下，缓解了低质量负样本的消极影响，避免了捷径学习，从而获得了更加鲁棒的对齐效果。同时，针对低密度描述问题，本发明提出了致密化蒸馏策略，更为直接地引导模型生成高密度的表征。本发明赋予了文本编码器更强的理解能力，同时也进一步增强了图文表征的全局性，因此，提升视觉语言模型的组合理解能力。