支持设计知识推送的跨模态多尺度信息融合方法及系统

本申请提出一种支持设计知识推送的跨模态多尺度信息融合方法及系统，其中，方法包括：构建包含专利摘要和摘要附图的专利数据集，通过文本编码器提取长文本特征和短文本特征，通过图像编码器提取细粒度和粗粒度图像特征；上述文本和图像特征输入跨模态注意力融合模块，通过多头注意力机制实现文本与图像的跨模态信息交互，生成融合后的文本和图像特征；采用基于对比学习的损失函数，优化图像与文本特征在语义空间中的对齐效果；输入创新设计概念，提取其特征表示，并基于余弦相似度计算其与专利数据的匹配程度，根据相似度排序向设计师推送相关专利摘要和附图。本申请能够解决现有图像‑文本匹配和跨模态信息融合中的局限性。