ClientCoded

Product Hunt 大家好！我是 Travis，ClientCoded 的联合创始人。

我们打造这款产品，是因为反复遇到同一个问题：团队推出 AI 智能体后，它在演示中表现出色，可一旦进入生产环境，遇到真实用户提出异议、询问意料之外的问题或输入糟糕的数据，就开始漏洞百出。等到有人发现时，客户早已经历了糟糕的使用体验。

更深层的问题在于，大多数工具解决这一问题的方式。它们用一个 LLM 来评估另一个 LLM 的输出，这意味着评分层也会像被测试的智能体一样产生幻觉。最终，测试会在本该失败时通过，也会在本该通过时失败。

我们选择了不同的路线。在智能体运行之前，ClientCoded 会通过 SQL 从测试数据中计算出真实答案。结果是确定性的，无需让 LLM 充当裁判，也不存在主观评分。当智能体给出错误答案时，我们不仅能准确指出错在哪里，还能告诉你正确答案应该是什么。

我们还会运行对抗性合成客户，让它们撒谎、自相矛盾、偏离主题，并像真实用户一样试图击溃你的智能体。如果生产环境中还是漏过了某个问题，我们的监控机制会立即发现。你只需一键将问题保存为回归测试，确保同类问题不再发生。

为了感谢 Product Hunt 社区，所有有意加入的用户都可以免费使用生产环境监控。只需一个 webhook；当智能体对话出现异常时，Slack 会收到提醒，而且没有使用期限。直接在这里回复或给我发私信，我会帮你完成设置。

很希望听听大家正在构建或管理 AI 智能体时遇到的 difficulties。判断一个智能体是否真正正常工作中，最难的部分是什么？