摘要
本发明公开了一种基于多GPU多SSD的图神经网络训练加速方法及系统,属于图神经网络训练领域。该方法通过读取服务器的物理架构信息,将CPU、GPU、SSD之间的通信链路关系建模为通信拓扑图,并将GPU拉取数据的链路过程转换为单源单汇点的最大流问题,通过Ford‑Fulkerson增广路算求解最优的访问流量分配方案,再考虑图顶点的访问频率将图顶点分配给当前性能指标最优的存储节点进行存储;最终完成图数据集中所有图顶点的存储后,由服务器执行图神经网络的逐批次训练任务。本发明可极大地提高系统的训练吞吐,满足对于TB级别超大规模图的训练,实现高效、低延迟的多GPU多SSD数据访问。
技术关键词
节点
服务器
通信链路
拓扑图
队列
神经网络训练
顶点特征
计算机电子设备
关系建模
通信带宽
生成列表
频率
存储计算机程序
数据
加速系统
超大规模
处理器
内存
系统为您推荐了相关专利信息
特种设备
变频驱动器
能效优化方法
能效优化控制
制动电动机
无人机模型
时空轨迹数据
仿真场景
线路
电力系统