一种在异构多机多卡环境下的人工智能大模型训练方法

本申请公开了一种在异构多机多卡环境下的人工智能大模型训练方法，属于人工智能大模型训练技术领域，本申请通过构建统一接口实现异构设备负载均衡，采用分层流水线聚合与动态量化压缩优化通信效率，结合弹性拓扑结构实现节点动态调整，有效解决了现有技术中设备兼容性差、通信延迟高、拓扑结构僵化的问题，具有提升异构计算资源利用率、降低跨节点通信开销、增强系统容错能力的显著优势。