官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
LLM Test Server
无需依赖供应商的 LLM 测试
LLM Test Server 是什么？
LLM Test Server 是一款本地运行、结果确定的大模型测试替身，可模拟 13 家 LLM 提供商的 API；应用只需保留官方 SDK，并将请求指向 /openai/v1 等命名空间路由。其响应、工具调用、流式输出和异常均由测试夹具控制，面板还能追踪系统提示词、工具 Schema、对话轮次及提示缓存的 Token 消耗。项目专为 .NET 与 Aspire 打造，也提供 Docker 镜像，开源且免费。
产品详细介绍
无需依赖供应商的 LLM 测试
LLM Test Server 是一款本地运行、结果确定的大模型测试替身，可模拟 13 家 LLM 提供商的 API；应用只需保留官方 SDK，并将请求指向 /openai/v1 等命名空间路由。其响应、工具调用、流式输出和异常均由测试夹具控制，面板还能追踪系统提示词、工具 Schema、对话轮次及提示缓存的 Token 消耗。项目专为 .NET 与 Aspire 打造，也提供 Docker 镜像，开源且免费。
定价方案
需要付费创始人评论
Alina Kostiuk 🇺🇦创始人
你好，Product Hunt！我是 Konstantin，我开发了 LLM Test Server，让你无需再亲自搭建测试服务。
我发现，AI API 中的许多问题都与 API 使用不正确有关。例如，应用发送了错误的请求、遗漏了工具调用结果、过早停止读取流，或采用了不当的错误重试方式。这些只是普通的集成缺陷，我希望能够用常规方式对它们进行测试，让 AI Agent 可以在部署前将其修复。这样，每次运行都只需输入相同的数据，就能得到相同的结果，而且整个流程中无需调用实时模型。
LLM Test Server 是一款本地服务器，支持 13 家 LLM 提供商的 HTTP API，每个提供商都有独立的命名空间，例如 /openai/v1 或 /anthropic/v1。
你的应用可以继续使用官方 SDK，只需将 base URL 配置为测试服务器提供的地址。
当然，你也可以通过脚本进行设置，并模拟测试所需的任何 API 行为。
我最喜欢的是缓存观测功能。因为你无法仅凭应用正常运行就确定对话是否被正确收集，以及缓存是否未被破坏。
我们会收集每个请求的数据，并在仪表板中展示。
你可以查看上下文由哪些内容组成（系统提示词、工具 Schema、用户和助手轮次、工具调用结果），以及提示词中有多少内容命中了缓存。
它适用于各种技术栈。在 .NET 上，你可以使用 NuGet 包、一种 Aspire 集成以及类型安全客户端。在其他平台上，只需运行一个 Docker 镜像，通过 HTTP 进行配置，然后将 Python、TypeScript 或 Go SDK 指向它即可。
网站地址：https://llmtest.managed-code.com
我很想了解，目前对你而言，哪类 LLM 集成故障最难复现。
创始团队
Alina Kostiuk 🇺🇦COO at Prostir
