一种基于有损压缩的大规模并行通信优化方法

本公开涉及深度学习大规模模型并行训练通信优化，具体涉及一种基于有损压缩的大规模并行通信优化方法，包括：将原始数据划分为N×N个块数据；各个进程非阻塞接收来自上一个进程的块数据，同时基于SZX算法压缩本进程上一轮接收到的块数据，再非阻塞发送所述压缩后的块数据至下一个进程，同时解压缩接收到的块数据并进行规约操作，直至每个进程持有规约子块结果；每个进程以环形的方式并行通信，直至每个进程都持有所有进程压缩后的规约子块结果；各个进程开始对接收到的所有压缩后的规约子块结果进行解压缩并存储数据。该方法降低了大模型张量并行训练中的通信开销，实现发送和接收与压缩和解压缩时间开销的相互掩蔽，节约了时间成本。