一种并行环境的GPU程序优化方法

本申请提供了一种并行环境的GPU程序优化方法，多个目标模型被配置于GPU集群中进行并行训练，该方法包括：对目标模型的并行训练配置进行策略配置与内存瓶颈预判；利用预判结果，通过并行策略组合与指令级性能监测进行吞吐量优化；对优化过程中出现的指令级瓶颈进行内核重优化，使得模型训练与GPU指令执行效率同步提升。