NeurIPS 2026｜小红书 × 复旦大学用DR-Rubric为开放式强化学习构建评分标准

让大模型回答一道数学题，通常还能拿标准答案判断对错。可如果问题换成「梳理一个领域的研究进展」「比较几种技术路线」或者「给出有依据的专业建议」，怎样才算答得好？答案没有唯一版本，遗漏关键事实、混淆概念、论证不充分，都可能藏在一段看起来很流畅的文字里。

这也是开放式任务做强化学习时最难的一步：模型可以生成很多回答，但训练系统得知道，哪些回答值得奖励。只给一个笼统的总分，模型很难知道该改哪里；把评判拆成细则，又会遇到另一道难题——这些细则由谁来写？

专家手写可靠，却难以覆盖大量、不断变化的问题。直接让大模型写评分标准，速度快，但它可能只列出「清晰」「完整」「有逻辑」这样的通用要求，漏掉真正决定这道题质量的知识和边界条件。评分尺子本身不准，强化学习就可能朝着错误的方向优化。

针对这一问题，小红书与复旦大学等机构提出了 Deep Research as Rubric（DR-Rubric）：让模型先围绕任务做一轮深度研究，收集外部事实、关键约束与常见错误，再把研究结果转成逐条可检查的评分细则，用作强化学习的奖励信号。这套方案也已在小红书业务中实际使用。

目前，该工作已被 NeurIPS 2026 接收，论文与代码已公开。

实验展示了它在六个基准上的实验结果：每轮仅用 1000 条 RL 数据，便在智能体研究和专家推理任务上取得有竞争力的表现。研究还进一步尝试让模型自己生成下一轮评分细则，并观察到一个有意思的现象：自举提升并不单调，评分标准会变化，模型能力也会随之重新平衡；继续迭代，还可能出现奖励越来越高、真实表现却崩溃的情况。

• 论文标题：Deep Research as Rubric for Reinforcement Learning
• 论文地址：https://arxiv.org/abs/2606.01091
• 代码地址：https://github.com/meiotoufa/DR-Rubric

研究背景：评分细则本身也需要研究

Rubric（评分细则）把一个笼统的质量判断拆解成细粒度、可解释的评价维度。回答每满足一条约束，就获得相应奖励，即便没有完全答对，也可以得到部分分数。这为缺乏唯一标准答案的开放式推理和长文本生成任务提供了更稠密的训练信号。

现有方法往往把 rubric 当成现成的、静态的产物：要么由专家手工撰写，要么直接通过 prompt 让模型生成。前者成本高，后者受限于模型内部知识，容易停留在文本通顺、表述清晰等表面要求，遗漏任务特定的知识约束。

DR-Rubric 的核心洞察是：构造 rubric 本身就是一个研究问题。要判断回答是否正确、全面、有洞见，需要先发现、收集和综合相关知识。Deep Research 正好可以承担这个过程。

因此，框架把评分细则的生成拆成两个阶段。第一阶段是信息获取（Information Elicitation），通过多轮智能体检索构建证据轨迹；第二阶段是细则合成（Rubric Synthesis），把证据蒸馏成一组原子化、可独立检查的约束，再用于 GRPO 训练。

核心方法：先搜集证据，再把证据变成奖励

图 1　DR-Rubric 整体框架：证据收集、约束合成、逐条评分与 GRPO 更新。

框架包含三个顺序组件：自动 rubric 生成、基于 rubric 的强化学习，以及自举式 rubric 生成。以「每天推荐摄入多少糖」为例，模型先查找相关建议，厘清不同糖摄入概念及适用范围，再形成准确性、概念区分、实用指导等方面的评价标准。训练阶段对同一个问题采样多个回答，逐条判断是否满足标准，并汇总成奖励。

表 1　论文中的核心符号。

其中，p 表示任务问题，m(gen) 是驱动研究与细则合成的生成模型，S(p) 是证据轨迹，R(p) 是原子约束集合；m(judge) 负责逐条评分，π(θ) 是被训练的策略模型。G 表示同一问题的回答采样数，k 限制研究交互轮数，n(max) 限制约束数量。

第一步：证据收集

给定问题 p、外部工具集 T 和交互预算 k，生成模型通过多轮检索与验证，形成包含领域事实、结构性约束和常见失败模式的证据轨迹：

研究过程持续进行「查询构造 → 证据获取 → 查询精炼」，后续查询基于已有发现继续展开。这里的目标是找出评判这道题需要什么知识，而不是直接生成最终答案。证据轨迹作为一个显式中间表示，把任务问题与评价标准连接起来。

这也是它与普通 RAG 的区别：检索服务于评价需求的发现，多轮探索则帮助补齐遗漏的关键约束。

第二步：约束合成

模型把证据转成不可再分的单一评价标准，组成该问题的 rubric：

每条约束可以是肯定式要求，例如「回答应至少涵盖两种高效注意力方法」，也可以是否定式要求，例如「回答不应声称标准注意力的复杂度为 O(n log n)」。两种形式放在同一个约束集合中，不做类别区分或差异化加权。n(max) 控制规模，避免过多约束带来冗余和噪声。

关键在于，约束可以追溯到证据轨迹中的具体信息，评分标准因而有外部事实支撑。

第三步：把细则变成 GRPO 奖励

裁判模型独立检查每条原子约束。回答满足该约束记 1 分，否则记 0 分，最终奖励取所有约束分数的算术平均：

这样，模型能通过部分满足约束获得部分奖励。反馈具体落在有证据支撑的评价条目上，比一个任务级的二元分数提供更多信息。

训练使用 GRPO：对同一问题采样 G 个回答，用「该回答奖励减去组内平均奖励，再除以组内标准差」得到相对优势。策略更新结合裁剪概率比目标与 KL 惩罚，前者限制更新幅度，后者约束策略不要偏离参考模型过远。

自举：让模型接过评分细则的生成工作

持续调用 GPT-5、Gemini 等外部模型生成 rubric 会带来成本。自举式生成尝试让训练后的策略模型接过研究与细则合成工作，为后续训练产生新的奖励标准：

模型因此同时承担答题者和细则生成者的角色，减少对前沿闭源 rubric 生成模型的依赖。这个闭环仍需要外部检索工具和裁判模型，而后续实验也显示，自举并不意味着每一轮性能都会提高。

实验结果：1000 条数据，关键在奖励质量

实验覆盖六个基准，分为两类：智能体任务包括 ResearchQA、DeepResearchBench 和 LocalSearchBench；专家推理包括 GPQA、MMLU-Pro 和 MMLU。

训练首先在 1000 条 ReAct 格式轨迹上对 Qwen3-8B 做 SFT，得到共享的 Qwen3-8B-SFT 初始化，再用 GRPO 和 rubric 奖励训练。GPT-5 与 Gemini 变体各使用 1000 条 RL 数据，自举每轮使用 1000 条，BS-2、BS-3 按训练轮次累计分别为 2000、3000 条。这里的累计训练量不等于新增了同样数量的独立问题。

主要超参为 G = 4，裁剪范围 ε = 0.28，KL 系数 β = 0.001，学习率 5 × 10(−6)，训练 5 个 epoch，使用 16 张 H800。各变体主要区别在 rubric 来源：基准自带、GPT-5 生成、Gemini 生成或自举生成。检索使用共享的静态文档快照接口以保证可复现，附录另用真实 Web 搜索验证一致性。

表 2　六个基准上的主实验结果。

GPT-5 rubric 在 ResearchQA 和 DeepResearchBench 上分别达到 73.7、43.0，比最佳基线高出 3.8 和 3.2 分；Gemini rubric 在 LocalSearchBench 和 GPQA 上分别达到 40.0、57.3，高出最佳基线 2.9 和 1.3 分；BS-3 在 MMLU-Pro 和 MMLU 上取得 78.0、85.3，高出最佳基线 3.7 和 1.5 分。

图 2　不同方法的训练数据量与平均表现对比。

对照方法报告的数据量从 DR-Tulu-SFT 的 16K、DR-Tulu-RL 与 WebExplorer 的 25K，到 Search-R1 的 90K。DR-Rubric 在较小的训练数据预算下取得了较强表现，说明设计更合适的奖励信号是一条值得探索的方向。各方法的训练数据与监督方式不同，这个对比也不能直接等同于计算成本对齐的效率结论。

三种 rubric 来源表现出互补特点：GPT-5 更偏向智能体任务的覆盖广度；Gemini 在两类任务之间更均衡；自举 rubric 则在通用推理基准上更突出。论文还介绍了 14B 和 30B-A3B 的扩展实验，以及其在 ResearchQA、LocalSearchBench 上相对同规模基线的优势。

来源消融：最好的评分标准取决于任务

来源消融固定 Qwen3-8B-SFT、GRPO 和原子 rubric 奖励，只改变细则的来源。一个重要发现是：基准自带的评分细则并不是训练效果的上界。即使训练 rubric 与测试评价协议形式对齐，GPT-5、Gemini 和自举变体仍能在多个基准上超过它。

这意味着，符合测试指标的细则未必最适合模型学习。覆盖维度、约束粒度和结构都会影响反馈。GPT-5 生成的 rubric 是较强的覆盖信号，却不是所有推理任务上的最优选择；Gemini 获得更均衡的能力表现，自举生成的细则则展示了不同的推理迁移特点。

自举的核心发现：性能先下降，再重新平衡

图 3　自举过程中性能与评分细则结构的变化。

自举的平均分呈非单调轨迹：BS-1 为 60.8，BS-2 降至 60.2，BS-3 回升至 61.2。

BS-1 的细则接近基准自带的风格，要求较宽泛，提供了较强的推理监督，GPQA 达到 57.0、MMLU 达到 84.0，但智能体任务表现相对较弱。到了 BS-2，细则出现明显结构变化：约束更具体、阈值更多，同时推理分数下降。BS-3 的约束长度有所收缩，词汇多样性回升，MMLU-Pro 和 MMLU 分别达到 78.0、85.3。

这条轨迹更像是在奖励结构空间中搜索，在覆盖度、特异性和推理迁移之间寻找平衡。它并不是一个评分标准不断变好、所有任务随之同步提升的过程。

论文还介绍了 fresh-start 对照：每轮都从 Qwen3-8B-SFT 重新初始化，仅用当轮 rubric 训练。该对照复现了 BS-2 的低谷，BS-3 与累积训练取得接近的结果，支持后续生成的 rubric 能在共享初始化上发挥作用。这个结果并不意味着生成这些 rubric 的前序训练成本消失了。

评分细则的结构究竟发生了什么变化

表 3　不同来源的 rubric 结构统计。

GPT-5 rubric 维度多、约束短：平均每份 6.50 个维度、24.39 条约束，每条约束 4.8 词。自举生成的 rubric 没有朝同一种风格收敛，而是维度减少、约束变长，可验证比例在 BS-2 大幅上升后趋于稳定。这里的「可验证比例」是论文定义的结构指标，不应直接理解为 rubric 的事实正确率。

不同自举轮次之间的词级 Jaccard 相似度只有 0.13–0.15，GPT-5 与自举细则之间约为 0.03，说明各轮生成了明显不同的内容，而不只是对上一轮做少量改写。结构变化与性能变化相伴出现，也为解释不同能力画像提供了线索。

案例：细则风格如何影响搜索与综合

ResearchQA 案例展示了两类行为差异。第一类是查询范围：多维 rubric 可能鼓励模型同时寻找患病率、临床特征和治疗结果等信息，而不是只查询最显著的一面；BS-3 的轨迹中还出现了针对 .gov、.org、.edu 的领域过滤查询，体现对证据来源层级的关注。

第二类是信息综合：即便搜索查询相同，最终得分仍可能不同，案例中出现了 0.500 与 0.875 的差距。短而具体的约束对应更明确的离散事实提取，长而笼统的约束则可能让回答偏向叙述，遗漏具体条目。这些案例说明训练反馈与行为差异之间存在关联，但不能单凭个案确定某一 rubric 属性的因果作用。

自举也有极限：奖励变高，模型却可能变差

能自己生成评分细则，并不意味着可以无限自我提升。论文介绍了一组 Qwen3-30B-A3B 压力测试：研究者把自举推进到 BS-5，观察能否在真实任务性能崩溃前发现异常。

图 4　奖励极化率与过度自举的稳定性极限。

研究使用奖励极化率（Reward Polarization），统计奖励等于 0 或大于等于 0.99 的极端分数占比。在 BS-3，这一比例达到 0.195，超过 0.15 的停止阈值；继续迭代后，BS-4 的智能体任务平均分由 51.3 跌至 22.7，BS-5 则进一步退化。内部奖励却从 0.24 升至 0.66，形成了奖励与真实任务质量背离的现象。

对应的停止规则为：

在这组实验中，极化率比任务性能崩溃提前一个迭代出现异常。GRPO 的机制也放大了后续退化：当同一问题的四个 rollout 得分趋于一致，组内相对优势就失去区分度，学习信号随之减弱。

知乎解读还对比了两种模型规模：14B 的退化伴随奖励下降，30B 的退化则伴随奖励上升及输出异常，机制不同，但都出现了极端分数聚集。由此得到的实践建议是，在这些实验条件下及时停止过度自举，或引入外部高质量 rubric 重新校准；它仍需要更广泛验证，不能直接当作所有模型的统一停止规则。

附录中还有哪些值得关注的内容

生成 prompt 的分工。第一阶段让模型扮演评价框架研究分析师，输出查询解构、综合事实库、关键质量维度和边缘情况；第二阶段明确要求设计评价框架，而不是回答原问题，并使阈值与证据报告中的事实一致。

自举中的纠错案例。原文介绍了一个非瓣膜性房颤卒中预防案例：早期 rubric 出现不恰当的治疗建议，后续轮次修正了该条目并补充剂量及围手术期信息。这提供了细则内容可以随自举变化的例子，但不应据此推断所有生成标准都能自动纠正。

研究交互预算。第一阶段最多进行 10 步交互，并支持早停；原文报告证据轨迹平均包含 12.4 条信息，通常在 6–8 步内稳定。实现部分另报告 GPT-5 和 Gemini rubric 的平均约束数分别为 11.4、10.8，否定式要求占比分别约为 27%、22%；该统计与前述结构表的统计口径应分别理解。

总结与展望

DR-Rubric 把评分标准的构造从一个预先准备好的静态模板，变成了可以主动获取外部证据的研究过程。对开放式任务而言，这让奖励的来源更具体：需要覆盖哪些事实，必须澄清哪些概念，又有哪些错误应该避免，都可以逐条反馈给模型。

实验展示了高质量 rubric 在小数据预算下的价值，也展示了模型接过细则生成工作的可能性。更值得关注的是，自举改变的不只是模型参数，还包括下一轮训练所依据的评分尺子。尺度如何保持可靠，何时应停止迭代，以及怎样用外部证据重新校准，都是这条路线继续向前时需要回答的问题。

作者团队简介

团队：小红书 × 复旦大学。

第一作者：梅王毅，来自复旦大学，在小红书实习期间参与本项研究。本工作围绕深度研究、评分细则构建与大模型强化学习展开。

通讯作者：阳德青，复旦大学大数据学院副教授、博士生导师，担任大数据学院与高等学术研究院副院长、上海市数据科学重点实验室副主任，主要研究方向包括大模型与智能体、知识图谱及推荐系统。

文章来自于"机器之心"，作者 "梅王毅"。