针对算力集群的通信方法、装置、电子设备及存储介质

本公开提供了一种针对算力集群的通信方法、装置、电子设备及存储介质，涉及图形处理器、算力集群、模型训练、生成式大语言模型等技术领域。该方法包括：在采用RDMA协议与通信接收端进行通信的过程中，获取与RDMA协议对应的第一丢包率；响应于第一丢包率高于第一预设丢包率，向通信接收端发起切换为TCP进行通信的第一握手请求；接收通信接收端针对第一握手请求返回的第一握手响应，并根据第一握手响应中的最后数据接收位置确定数据的第一起始传输位置；采用TCP从与第一起始传输位置对应的数据开始与通信接收端进行通信。应用该方法可提升整体通信效率和数据传输量，进而提升生成式大语言模型的训练效率以及缩短训练所需耗时。