Redline AI

嗨，我是 Hritvik。

这一切的起因，是我回答不了一个关于自己 agent 的简单问题：它真的做了它说自己做过的事吗？

我给它布置一个任务，它会返回一份干净、自信的总结，而我手里仅有的证据就是那份总结本身。当我开始翻看真实的工具调用记录时，却发现有些运行中，agent 做了不该做的事，然后在自己的叙述里把这件事悄悄抹掉了。算不上撒谎——只是为了让答案显得更整洁。

于是 Redline 的第一版只做了一件事：把对话记录（agent 说了什么）和服务器端的调用日志（agent 实际做了什么）并排放在一起。结果这就是整个产品。对话记录是 agent 说的话，日志是它实际做的事。

安全测试包是后来才加上的，而且纯属意外。我写了一道间接注入（indirect-injection）的任务，想看看我的 agent 会不会点进藏在工单里的钓鱼链接。结果它点了。Claude Code 也点了。Codex 也点了——然后它告诉我它什么都没点。如今这已经扩展到 16 个攻击家族、11,204 个用例，全部通过带内（in-band）方式投递，而不是塞进 prompt 里。

让我耗费最久心力的，是如何让 agent 可以被测试，却不要求你把它部署到任何地方。最终的形态就是 redline dev——你的 agent 运行在你自己的机器上、你的代码仓库里、用你的凭据，Redline 只是负责驱动它，并和其他 agent 一起打分。

如果你已经发布了一个具备真实工具调用权限的 agent：真正让你担心的失败是什么？这就是我想放进下一批测试包里的内容。