NCCL库的自动在线调优方法、系统、设备及存储介质

本发明公开了一种NCCL库的自动在线调优方法、系统、设备及存储介质，它们是相对应的方案，相关方案中可以在保证NCCL库的集合通信任务能正确执行的前提下，能够根据每一次配置的执行结果，进行在线的调优，不断地优化配置、提升性能、减少时间，适用于复杂的分布式通信场景下，同时不引入过多调优上的开销；并且相关方案中能够通过有效的调优过程，在巨大的搜索空间内快速地找到性能较优的配置；最终对多个集群和模型的评估表明，本发明在DNN模型训练上能够快速地收敛，同时能够保证相较于NCCL更高的性能收益。