基于双卡双芯片的模型训练通信方法及装置

本发明涉及神经网络通信技术领域，提供一种基于双卡双芯片的模型训练通信方法及装置，应用于双加速卡中的任一加速卡，该方法包括：将任一加速卡上两芯片各自的待通信数据切分成N个数据块；对N个数据块串行进行卡内两芯片间的规约操作，且每个数据块按预分的M个数据子块并行进行卡内两芯片间的规约操作；在第i个数据块的卡内两芯片间的规约操作完成后，与双加速卡中另一加速卡卡内两芯片间规约操作完成后的第i个数据块进行的第i次卡间规约分散操作；在第i次卡间规约分散操作完成后，进行第i次卡内两芯片间的分散操作。本发明通过对数据子块并行规约，减小了卡内规约的时长，缩短了两次卡间P2P通信的等待时间，提升了通信性能。