来自北航、北大、美团的研究团队提出了Policy Improvement Reinforcement Learning, PIRL，以及对应的落地算法 PIPO。这项工作关注的是大模型 RL 后训练中一个非常基础、但长期被默认跳过的问题：一次更新在当前数据上看起来优化了学习信号，是否就真的说明模型策略变强了？
过去很多 RL 后训练方法主要回答的是：当前这批轨迹该怎么学？
PIRL/PIPO 进一步追问的是：这一步学完之后，模型真的进步了吗？如果进步了，能否进一步巩固这一方向？如果没有进步，甚至带来了负面影响，能否及时削弱或校正这次更新？
- 论文标题：Policy Improvement Reinforcement Learning
- 论文：https://arxiv.org/abs/2604.00860
- 代码：https://github.com/JacckMa/pipo_verl
主要贡献
- 提出 PIRL 这一新的强化学习后训练视角。它不只看当前批次里的奖励、优势估计或教师信号，而是把跨迭代的策略提升本身作为优化目标。
- 提出 PIPO 这一即插即用的闭环优化框架。PIPO 可以直接接入几乎现有所有的 RL 后训练算法，如 PPO、GRPO、DAPO 和自蒸馏等方法。它不替代原方法中的局部学习信号，而是在其外层加入一层 “回头验证” 机制：对确实带来策略提升的更新方向进行进一步放大，对未能带来提升甚至造成性能下降的更新方向进行抑制、抵消或反向校正。
- 在数学推理、代码、工具调用和自蒸馏设置下进行验证。实验显示，PIPO 在多种基础算法和任务场景中都带来了一致提升。
背景：RL 后训练已经很强，
但仍然是 “开环” 的
这两年，大模型继续变强的一个关键绝招，就是 RL post-training。
从经典的 PPO，到推理任务里常见的 GRPO、DAPO、GSPO，再到利用模型自身轨迹和反馈进行学习的 OPD 与自蒸馏，方法越来越多，效果也越来越强。它们都在解决一个核心问题：如何把当前这批数据里的奖励、优势估计、执行反馈或教师信号，转化成一次有效的参数更新，探索出新策略。
这些方法当然能推动策略变强，这也是 RL 后训练成为主流范式的原因。但它们大多还有一个共同特点：优化主要发生在当前采样轨迹上。也就是说，算法会认真计算当前这批轨迹该怎么学，却很少显式验证这一步学完之后，新的策略是否真的比过去更好。
这就是本文所说的开环优化。开环并不意味着方法无效，而是说训练过程少了一个关键环节：更新之后的效果验证，以及基于验证结果对上一轮更新方向进行回溯校正。
RL 后训练不能只盯着当前批次里的局部信号，还需要一个跨时间的验证机制，以及能够对历史更新方向进行再加权、抑制或校正的回溯调整机制。
PIRL：把 “策略提升” 本身变成优化目标
PIRL 的出发点很直接：如果我们真正关心的是模型是否变强，那么优化目标就不应只停留在当前批次的代理上，而应关注下一个策略相对之前策略的提升。对于从 到 的一次更新，策略提升定义为：
PIRL 希望最大化整个训练过程中的累计策略提升：
论文在理论上证明了：这个目标不会改变最终优化方向。对于固定初始策略，最大化累计策略提升，和最大化最终策略性能是对齐的；也就是说，这种目标改写并没有偏离最终想要的模型能力。
因此，PIRL 并不是否定奖励、优势或教师信号，而是补上它们缺少的一环：更新之后，要验证这一步有没有真的转化成策略提升。
PIPO：让训练过程学会 “回头看”
基于 PIRL，论文进一步提出了 Policy Improvement Policy Optimization, PIPO。它的核心是两步：先让基础算法正常探索，再在下一轮利用策略提升反馈 回头验证这次探索是否真的带来了策略进步。如果新策略相较历史基准表现更好，PIPO 会认为上轮更新方向与策略提升一致，从而进一步放大、巩固这一方向；如果新策略没有带来提升，甚至导致性能下降，PIPO 则会削弱该更新方向的影响，必要时通过回溯校正在优化意义上抵消有害更新。
第一步：前向探索。 在第 步，基础算法采样当前批次 ，构造局部学习信号并更新策略。将所接入算法原本的训练目标记为 ，例如 PPO 的裁剪目标、GRPO 的组相对优化目标，或 SDPO 的自蒸馏目标：
这一步回答的是：当前这批轨迹该怎么学？
第二步：回溯验证。 到下一轮时，更新后的策略 会重新采样，并得到新的平均表现。PIPO 将这个表现和最近 步的历史基准比较，得到标准化的策略提升反馈：
其中 是当前批次奖励的均值， 和 分别表示历史平均表现和历史波动。直观地看， 是 PIRL 中 在实际训练里的可计算近似，用来估计 “新策略是否比近期旧策略更好”。在符号一致性假设下，论文也证明了这种回溯更新会和 PIRL 的策略提升方向保持对齐。 接下来，PIPO 用这个反馈来调节上一批轨迹 的局部学习信号：
其中， 来自基础算法自己的局部信号：PPO 中是优势估计，GRPO/GSPO/DAPO 中是组内相对优势，SDPO 中是反馈条件自教师与学生策略之间的 log-prob 差异。 负责调节强度：正的策略提升反馈会放大上一轮学习信号，负的反馈会抑制相关更新。
需要注意的是，这里的回溯更新会用到 重要性采样。因为 是旧策略 采样出来的，但回溯更新是在新策略 附近进行的，PIPO 需要用重要性采样比率把 “旧批次轨迹” 和 “当前更新策略” 连接起来。token-level 的形式为：
因此，策略提升目标可以被写成类似 PPO 的裁剪形式：
其中 表示对应学习单元的重要性采样比率。最终，PIPO 用这个目标执行回溯更新：
如果 大于 0，说明上一轮相关学习信号与后续策略提升方向一致，PIPO 会进一步强化这一更新方向。
如果 小于 0，说明上一轮相关学习信号可能没有带来有效提升，甚至造成了性能下降，PIPO 会对这一方向进行抑制、抵消或反向校正。
这样一来，PIPO 就可以在 PPO、GRPO、SDPO 等原有方法基础上即插即用地加入跨迭代验证。它把单批次内的局部学习信号和批次之间的历史表现联系起来，让每次更新都多一道判断：这次更新之后，模型整体有没有更强？如果变强，就巩固有效的更新方向；如果变弱，就削弱有害的更新影响。 由此，原本开环的 RL 后训练被转化为带有策略提升反馈的闭环优化过程。
实验验证
论文首先在数学推理任务上验证 PIPO。
结果显示，PIPO 接到 PPO、GRPO、GSPO、DAPO 后，平均表现、思考长度都有所提升。
PIPO 不是只对数学推理有效。论文进一步在代码任务和工具调用任务上进行了实验验证。论文还验证了 PIPO 在自蒸馏设置下的提升作用。
结语：RL 后训练需要更好的闭环
过去很多 RL 后训练方法在努力回答一个问题：当前这批轨迹该怎么学？PIRL/PIPO 进一步追问：这一步学完之后，模型真的变强了吗？
这也是本文最核心的观点：RL post-training 不能只盯着当前批次里的奖励、优势估计或教师信号。真正重要的是，每次更新之后，模型有没有产生可验证的策略提升，从而对更新进行动态的强化或者削弱。
PIRL 把 “进步” 本身定义为优化目标。PIPO 则把这个目标变成了一个可以接入现有算法的闭环训练框架。
如果说传统 RL 后训练更像是在不断根据当前信号往前走，那么 PIRL/PIPO 想做的是：让模型每走一步，都回头看一眼，确认自己是不是真的在变强，并进一步巩固有效方向、校正有害影响。
文章来自于微信公众号 “机器之心”，作者 “机器之心”
