基于深度迁移学习的碎片数据跨模态标签生成系统及方法

本申请提供了一种基于深度迁移学习的碎片数据跨模态标签生成系统及方法。该方法包括：提取不同模态下的第一高维特征向量；通过跨模态对比损失函数将不同模态的第一高维特征向量映射到同一语义空间中实现多模态对齐及融合得到第二高维特征向量；采用小样本迁移学习算法，基于碎片化数据成分标注第二高维特征向量对应的语义标签；采用多通道哈希编码器，针对不同模态数据组合调用自适应编码策略，将第二高维特征向量编码为多通道的二进制哈希编码；结合增量式图神经网络，将二进制哈希编码以及对应的语义标签动态扩充到历史知识图谱中；为目标知识图谱中不同实体组合的语义差异化特征建立匹配的细粒度标签，结合三矩阵层次化构建获得跨模态标签树。