模型训练、数据构造方法、装置、电子设备和存储介质

本公开实施例公开了一种模型训练、数据构造方法、装置、电子设备和存储介质，通过将提示信息输入多个第一模型，使得每个第一模型推理得到一组输出信息，每组输出信息包括多个输出信息。进一步，对每个输出信息进行正向修改和负向修改，得到针对该提示信息的具有对比关系的多个回答信息，即根据同一输出信息得到的多个回答信息具有天然的质量优劣对比关系，从而无需进行人工排序即可获得具有优劣对比关系的偏好数据对，降低了偏好数据对的构造成本。