一种大模型训练方法、推理方法及相关设备

本申请实施例提供了一种大模型训练方法、推理方法及相关设备，用于减少大模型训练过程和推理过程中所需加速器硬件设备数量，并提高加速器硬件设备的利用率。本申请实施例方法包括：将原有大模型定义中包含的N个Transformer模块改为只包含L个Transformer模块，L远远小于N；创建N‑L份Transformer模块的可学习参数；通过对L个Transformer模块的循环计算，并在运行时动态替换L个Transformer模块的参数和梯度，以完成原有大模型定义中N个Transformer模块的训练任务或推理任务。