一种针对LLM模型的微调方法及相关设备

本说明书提供了一种针对LLM模型的微调方法及相关设备。针对LLM模型的微调包含依次进行的多个微调阶段，所述多个微调阶段中包括基于强化学习的微调阶段。该方法包括：获取微调数据集，所述微调数据集中包含与所述多个微调阶段对应的多种格式的第一微调数据；基于预设的目标格式，对所述多种格式的第一微调数据分别进行格式转换处理，得到与所述第一微调数据对应的目标格式的第二微调数据；其中，所述目标格式为与所述基于强化学习的微调阶段对应的第一微调数据的格式；基于所述目标格式的第二微调数据，对预训练完成的所述LLM模型进一步执行微调训练。