摘要
本发明涉及一种实体知识索引的跨视图反思排序蒸馏方法、设备及介质,该方法通过排序知识迁移提升视觉缺失下的实体链接鲁棒性。基于完整多模态数据训练教师模型,生成纯文本数据输入学生模型(继承教师架构与参数)。具体包括:排序对齐损失:通过可微分排序对齐教师(完整模态)与学生(缺失模态)的实体排序分布,保留语义区分性;跨视图蒸馏:利用教师实体‑提及反向排序增强多模态表征理解;自一致性约束:强制学生提及‑实体排序与反向实体‑提及排序一致,突破单向检索局限。三损失联合优化后,部署仅需文本输入的学生模型。相比传统概率蒸馏,通过排序传递与跨视图自省机制,显著提升缺失场景稳定性,且无额外参量。
技术关键词
蒸馏方法
实体
学生
教师
多模态
索引
传播算法
参数
视觉
双曲正切函数
文本
数据
随机梯度下降
可读存储介质
对齐方法
处理器
模态特征
定义
网络架构