摘要
本申请涉及一种面向多关系图知识挖掘的可扩展训练方法、系统,通过加载知识图谱数据集,并对所述知识图谱数据集进行数据预处理;将知识图谱分为多个子图谱,并生成相应的训练集、验证集和测试集;缓存知识图谱节点特征;加载子图谱数据,构建DGL异构图并进行分布式训练。解决了现有技术直接将处理大规模异构知识图谱数据的模型训练与推理任务部署于单GPU,难以发挥集群与节点体系结构的最优性能,不仅会造成计算资源的浪费,还会导致模型计算任务效率显著降低的技术问题;达到了高效利用多GPU资源进行异构图数据的处理和训练,减少内存传输延迟,提升计算效率,确保计算资源得到最大化利用,优化了大规模异构图数据的分析与学习过程的技术效果。
技术关键词
知识图谱数据
分布式训练
节点特征
邻居
异构
训练集
内存
缓存策略
分区模块
远程服务器
关系
计算机程序产品
训练系统
顶点
可读存储介质
规模
系统为您推荐了相关专利信息
实体
知识图谱推理
三元组
多头注意力机制
知识图谱数据
波纹管涵
损伤预测方法
多模态融合机制
光纤光栅应变传感器
多源异构数据