一种应用低比特位宽与动态参数初始化模型训练方法

本公开涉及人工智能技术领域，提出一种应用低比特位宽与动态参数初始化模型训练方法，包括：获取目标生长阶段对应的参数规模；基于目标生长阶段对应的参数规模，在目标生长阶段的前一生长阶段训练好的模型基础上扩展参数规模；扩展参数规模后的模型中一个或多个参数采用低比特位宽进行量化；对扩展参数规模后的模型进行训练，并在训练过程中调用第一精度计算核处理激活矩阵与权重矩阵之间的运算，得到目标生长阶段训练好的模型；其中，目标生长阶段训练好的模型用于执行推理任务时，将调用第二精度计算核处理激活矩阵与权重矩阵之间的运算。通过本公开，节省了模型训练的成本，降低了对部署资源的限制，降低了硬件调度复杂度。