基于昇腾芯片的大模型推理算子优化方法、装置及设备

本发明涉及人工智能领域，技术方案可应用在金融科技/医疗健康领域。公开了一种基于昇腾芯片的大模型推理算子优化方法、装置及设备，包括：根据昇腾芯片的并行计算能力，对原始输入数据进行分块处理，生成适配芯片计算单元的分块数据；基于所述分块数据，结合昇腾芯片的内存层次结构和计算核心类型，优化矩阵乘法算子的内存访问路径，并调整卷积运算的滑动步长及填充方式；将大模型中连续执行的多个算子融合为复合算子，优化复合算子的数据存储流程，并通过动态分配计算资源实现协同执行；对协同优化后的分块计算结果进行整合与解码，通过验证反馈机制调整输入数据分块策略及算子执行参数，形成闭环优化。本技术方案能够提升大模型的推理效率。