Belay

{"translation":"AI 智能体周围有三类东西。框架用来构建智能体。可观测性用来记录它的所作所为。Belay 是第三类：执行环境（harness）。\n\n它代理你智能体的 MCP 工具调用，在沙箱中运行这些调用，快照记录每一轮真实的 pre-state，然后基于还原后的状态重放每一次调用。PASS / WARN / FAIL / UNVERIFIED 这样的判定来自重新执行和状态比对，绝不来自模型对另一个模型的看法。自托管。追踪和状态从不离开你的机器。Apache-2.0 协议。\n\n那个数字\n\n我用 claude-opus-5 跑了 60 个全新的 SWE-bench-lite 实例，并人工审计了结果：其中 11 个声称工作已被验证，却从未实际运行过任何东西。在 n=60 中，占 18.3%。\n\n这个数字的诚实版本，因为它比数字本身更重要：原始账本率为 37/52 = 71.2%，可分解为 11 个真正为正 + 12 个因接缝而无法验证 + 14 个我自己的验证组合产生的重放伪影。脱离这个分解直接引用 71.2% 是错误的。而且，针对单个模型、单个提示的 n=60 只是一次测量，不是基线率——它并不意味着"18% 的智能体在撒谎"。\n\n那个动图是阴性对照，我想先说清楚\n\n演示展示了一个真实的智能体（claude -p，仅被告知"让测试通过"）诚实地修复一个 bug、运行测试套件、如实上报，而 Belay 表示认可，精确展示了这种认可覆盖的范围。其中没有任何猫腻。\n\n这不是营销选择。我曾试图在这个仓库上捕获一次"腐败的成功"，但没能做到：跨三种条件、两个前沿模型、一个简单的 bug 契约和一个真正困难的 bug 契约，共进行了 18 次观察驱动。腐败的成功为零。我写的剧本承诺会有一次戏剧性的告警翻转，但现实并未产生这样的场景，所以我发布了驱动实际产生的内容，而非刻意编排它。驱动日志在仓库中。一个只会报警的检测器不是检测器。\n\n"这不就是套了壳的 LLM 评审吗？"\n\n一条命令即可反驳：belay --no-claim-axis 会禁用唯一由模型辅助的判定轴，所有 PASS/FAIL 判定必须原样通过。这由一项测试强制执行，而非凭我的口头保证。\n\n一个 PASS 到底覆盖了什么\n\nmacOS + Linux 沙箱。Belay 验证跨越 MCP 边界的调用——智能体内置工具（Claude Code 的 Bash/Edit）不在其验证范围内。一个 PASS 覆盖的是 Belay 所检查的维度，并完全排除网络维度：没有网络检测手段，因此 openWorldHint 一致性标注为 NOT_COVERED——永远不会是网络相关的 PASS，也永远不会被伪造为 FAIL。UNVERIFIED 永远不会被呈现为 PASS。\n\n这一行声明随每一次判定、每一个界面一同传递。这正是整个姿态的核心：我宁愿发布一个写着"我无法检查此项"的判定，也不愿发布一个悄悄向上凑整的判定。\n\n我不声明的事项：尚不存在 Langfuse/Phoenix 集成。失败语料库中存储的真正为正数量为零——精密度读数为 n/a，这是零分母，而非 1.00。容器仅支持 linux/amd64。\n\n试试看\n\n pip install belay-harness\n docker pull ghcr.io/haqaliz/belay\n\ngithub.com/haqaliz/belay\n\n我今天最希望得到的：一位运行无人值守智能体的用户，自托管本工具针对自己的追踪进行验证，并告诉我哪里判定有误。你能交到我手上的失败会成为语料库中的一个案例，而语料库才是会持续累积产生价值的部分。我全天在线。"}