一种基于Banzhaf联盟评估蒸馏的域增量图文检索方法

本发明公开了一种基于Banzhaf联盟评估蒸馏的域增量图文检索方法，该方法通过Banzhaf联盟评估将图文检索建模为一个多元合作博弈过程，通过计算图像token和文本token的联盟对检索精度的贡献，以实现更高效的跨模态对比，提高模型准确性。利用对比学习蒸馏和Banzhaf联盟评估蒸馏，保留结构化语义信息，从样本和token级相似度分别约束跨任务结构知识，减轻灾难性遗忘。本发明还提出通过添加token级别的动态语义提示，自适应的补偿模态间的语义信息差异，通过保留域独立的语义提示来保留任务的知识。本方法的提出，主要解决的技术问题包括不同模态特征的结构化语义信息缺失和跨模态知识迁移时的任务间知识偏差。