回归式大模型训练方法及装置

本申请实施例提供一种回归式大模型训练方法及装置，涉及模型训练技术领域，所述方法包括：获取输入数据并将输入数据转为输入特征向量；将输入特征向量输入大模型进行预测，得到预测特征向量；结合预测特征向量跟实际特征向量进行回归损失计算，并根据计算结果对模型进行训练；使用回归任务的思想来训练大模型，去除了token的量化过程，可以避免token量化带来的损失，进而降低大模型的幻觉，节省GPU内存，同时应用场景广泛。