sandtable 是一款开源的 AI Agent 仿真测试工具，可在客户业务环境的副本中预演对话与工具调用。它通过模拟调用者、构建带真实状态的 mock 系统，并在每次工具调用时校验业务规则，帮助发现保险过期等隐患，且无需依赖 judge model。

产品详细介绍

在客户环境副本中演练您的 AI 智能体

Uliseis创始人

Product Hunt，你好！

我开发了 sandtable，旨在解决智能体测试中的一个具体缺口：承运商销售智能体说：“已预订 L-1001，价格为 2,100 美元。”通话记录听起来无懈可击，因此 LLM 评审模型判定其通过。然而，承运商的保险已经过期，而这一事实只存在于数据库记录中，并未出现在对话中。

sandtable 会在具备状态的模拟环境中测试对话式智能体，从而在上线前发现这些隐藏故障。

工作原理

• 模拟来电者会与你的智能体实时交互。

• 有状态模拟服务会捕获每次工具调用，并在执行前评估业务规则。

• 确定性评分会检查实际数据库记录以及被违反的规则。无需依赖主观的 LLM 评审——同一份对话记录每次都会得到相同的通过/不通过结果，并以 $pass^k$ 的方式进行评估。

• 原生代码库配置通过简单的 YAML 定义你的业务领域（可由 OpenAPI 规范、SOP 和对话记录生成），并在每次提交时于 CI 中运行。

主要区别

• 相比 Harbor：专为实时对话式业务逻辑而设计，而非用于容器化编码任务。

• 相比 LangWatch、DeepEval 和 IntellAgent： eliminating? no, Chinese: 消除主观 LLM 评审带来的偏差。发生故障时，可精确定位被违反的规则和数据库记录。

• 相比 τ-bench：将该基准测试的底层方法论改造为适用于自定义领域的实用开发工具，而非依赖固定的静态数据集。

• 相比托管语音平台：开源且可在本地运行，能够导入 Vapi、Retell 和 ElevenLabs 的智能体，并对这些平台的测试通话进行评分。

当前限制：仅支持文本（暂不支持音频/延迟基准测试）、不提供 LLM 语气评分，并且使用本地文件报告而非托管仪表板。所有功能仍在开发中！

10 秒即可试用（无需 API 密钥）：npx sandtable-ai demo

（npm 和 PyPI 上采用 MIT 许可证，并提供 Claude Code 插件。）

sandtable