一种基于GRPO算法的大模型推理优化方法

本发明公开一种基于GRPO算法的大模型推理优化方法，包括以下步骤：动作采样：在每个状态下，从策略网络中采样多个候选动作，所述候选动作包括从策略网络输出的动作分布中采样或通过扰动机制在当前策略基础上生成的动作变种；相对奖励计算：计算每个候选动作相对于其他候选动作的表现差异，生成相对奖励信号，所述相对奖励信号基于候选动作之间的相对效果而非绝对价值；策略更新：根据所述相对奖励信号更新策略网络，所述策略更新基于候选动作的相对表现而非单独的动作价值；稳定性增强：通过组内相对奖励机制，避免传统强化学习方法中因价值网络估计不准确导致的不稳定性，减少梯度消失或爆炸问题。