大语言模型优化方法和优化装置

本申请涉及人工智能技术领域，提供了一种大语言模型优化方法和优化装置。该方法通过在预训练大语言模型中输入问题得到候选答案，计算候选答案的第一奖励值、第二奖励值和第三奖励值，其中第一奖励值用于表征候选答案的基础奖励，第二奖励值用于表征候选答案与问题的契合度，第三奖励值用于表征候选答案与用户偏好的对齐程度，然后对第一奖励值、第二奖励值和第三奖励值进行多头融合，得到目标奖励值，最后基于目标奖励值训练预训练大语言模型，得到优化后的大语言模型，实现了以多头分层的方式自适应学习大语言模型不同层次的奖励机制的重要性系数，进而提高了模型训练效率，提升了训练后的模型的生成质量。