模型训练方法、装置、设备、存储介质和产品

本申请涉及一种模型训练方法、装置、设备、存储介质和产品。该方法包括：根据多模态数据转换得到的目标文本推理链，构建训练数据集；根据训练数据集，对预训练好的多模态大语言模型进行监督微调，得到基础推理模型；根据长思考的强化学习训练对基础推理模型进行优化处理，得到目标推理模型；该目标推理模型用于根据输入的多模态数据输出包含推理过程的目标答案。从而可以直接使用长文本约束进行强化学习，极大地提升训练效率；而采用长思考的强化学习训练，能够使模型在训练中较为轻易的学到正确的思维过程，以提升多模态大语言模型处理复杂视觉推理任务的推理能力，并在推理的过程中展示出正确的思维过程。