基于3D并行与分布式参数服务器的异步训练方法、装置及存储介质

本发明涉及一种基于3D并行与分布式参数服务器的异步训练方法、装置及存储介质。该方法中参数服务器节点的训练流程包括：S101，初始化全局模型权重，全局模型权重分布于多个参数服务器节点上；S102，接收当前的本地模型权重，本地模型权重的初始化通过预选的3D并行训练方法实现，本地模型权重的更新通过各个训练任务执行预设时间长度的本地训练实现；S103，基于本地模型权重，更新当前的全局模型权重；S104，将全局模型权重下发至训练任务，并返回S102。与现有技术相比，本发明具有提高分布式模型训练对于异构设备集群的适用性，同时保证在处理万卡级别集群时的训练效率与稳定性等优点。