基于渐进式语义聚合和结构化认知增强的图文匹配方法

本发明公开了基于渐进式语义聚合和结构化认知增强的图文匹配方法，涉及图文匹配技术领域，包括以下步骤：S1、多模态特征提取；S2、引入层次化自增强语义感知池化机制；S3、引入结构化知识辅助学习模块；S4、引入跨模态语义对齐机制；S5、引入多尺度语义关联矩阵；本发明中，通过多层次的语义增强和细粒度级别的自适应特征聚合，强化了显著词域，实现局部与全局表示之间的一致性统一；从图像标题语料库中提取实体之间的结构化语义，挖掘长、短句中的高阶关系，并利用这些先验知识扩展文本全局嵌入中缺失的概念；引入跨模态关系交互机制，增强语义嵌入，促进更加一致的语义理解；引入多尺度语义关联矩阵，生成更为全面和精确的相似性测量矩阵。