一种基于transformer模型的GPU推理性能优化方法、系统、设备及存储介质

本发明公开一种基于transformer模型的GPU推理性能优化方法、系统、设备及存储介质，该性能优化方法为通用的transformer模型推理性能调优策略，适用于多种应用场景和模型类型，通过自定义算子替换和融合，实现对Attention算子、LayerNorm算子、GBR算子、GB算子等的优化，显著减少计算量或内存的使用，提升模型性能，具体的优化步骤包括迭代搜索、模式匹配、算子替换和融合，提升深度学习模型的训练速度和推理速度，且降低资源消耗和成本。