基于彩灯知识图谱的多模态模型语义增强与对比学习方法

本发明属于人工智能技术领域，涉及基于彩灯知识图谱的多模态模型语义增强与对比学习方法，包括：将原始文本与知识图谱进行关联，生成结构化句子树，并进行嵌入编码，获取嵌入矩阵；将嵌入矩阵和可见性矩阵输入经堆叠的Mask‑Transformer编码器，获取结构化语义特征，并经堆叠的自注意力块进行建模，获取结构化知识；将原始文本分别输入多模态模型的文本编码器和视觉编码器，获取基准文本特征和基准图像特征，并进行动态门控加权融合，获取融合向量；获取正样本文本，根据正样本文本，获取高质量负集，将融合向量、基准图像特征及对应的高质量负集中的难负样本输入对比学习模块，获取对称对比学习损失，用于训练多模态模型。