集合通信优化方法、设备、系统、介质和程序产品

本发明涉及人工智能技术领域，提供一种集合通信优化方法、设备、系统、介质和程序产品，其中方法包括：将本地的通信缓冲区划分为多个大小相同的存储块；将集合通信操作的多个步骤划分为至少一个分片，每个分片包括至少两个步骤，每个分片中的不同步骤使用不同的存储块进行数据访问，以使每个分片中的各步骤并行执行；针对每个分片，在完成当前步骤的数据发送操作后，启动下一步骤的数据发送操作，以使所述下一步骤的数据发送操作掩盖所述当前步骤的同步等待时间。本发明能够提升不同步骤间的并行度，同时显著减少通信过程中因同步等待造成的空闲时间，从而提高整体通信效率与系统性能。