模型训练方法、装置、电子设备及存储介质

本公开提供了一种模型训练方法、装置、电子设备及存储介质，涉及分布式计算技术领域。该方法包括：基于待训练模型的结构分析，将上下文划分为上下文任务；对上下文任务进行依赖关系分析，确定任务依赖图；根据任务依赖图为上下文任务配置优先级，并将配置优先级的上下文任务分配至对应计算节点按照执行顺序进行训练，获取计算节点的负载信息和任务执行信息；根据计算节点的负载信息和任务执行信息，在计算节点之间调度上下文任务以及调整计算节点内上下文任务的执行顺序，输出训练结果。根据各节点的实时负载情况，调整任务分配，实现计算节点的负载均衡，提升计算资源利用效率，优化上下文任务调度策略，提升计算资源利用率，缩短训练时间。