- ✓
自托管代理
- ✓
记录每一次 LLM 调用(令牌数、成本、延迟、模型、Prompt 指纹)
- ✓
使用滚动7天基线检测成本突增
LLMTrace
找出哪次提交导致你的LLM账单爆炸
LLMTrace 是什么?
LLMTrace 是一款可以帮助开发者定位 LLM 服务费用异常上涨原因的自托管 Go 代理工具。它部署在你的 Anthropic/OpenAI 调用请求之前,会将所有请求的费用、用户信息和部署 SHA 记录到你自己的 Postgres 数据库中,当账单出现异常增长时,你可以快速定位到具体哪个代码提交导致了问题。只需通过 docker-compose 即可快速部署,5 分钟内即可完成配置,所有数据都保留在你自己的基础设施中,无需使用外部 SaaS 服务。
产品详细介绍
找出哪次提交导致你的LLM账单爆炸
LLMTrace 是一款可以帮助开发者定位 LLM 服务费用异常上涨原因的自托管 Go 代理工具。它部署在你的 Anthropic/OpenAI 调用请求之前,会将所有请求的费用、用户信息和部署 SHA 记录到你自己的 Postgres 数据库中,当账单出现异常增长时,你可以快速定位到具体哪个代码提交导致了问题。只需通过 docker-compose 即可快速部署,5 分钟内即可完成配置,所有数据都保留在你自己的基础设施中,无需使用外部 SaaS 服务。
定价方案
有免费方案Free/免费
自托管
创始人评论
Raghav Sharma创始人
我之前一次糟糕的提示悄悄让我的Anthropic账单翻倍了,我却完全不知道是哪次部署导致的,于是就做了这个工具。Helicone和Langfuse都很不错,但它们只会给你展示症状,而非根源。
LLMTrace是一个Go代理,它会为每个LLM调用标记上触发该调用的提交SHA。支持自托管,没有厂商锁定。欢迎大家提问,我很乐意解答归因工作原理相关的任何问题。
创始团队
Raghav Sharma创始团队
官网信息
公司使命
适用于 AI 智能体的自建可观测性平台。记录您的智能体发出的每一次 LLM 调用。检测成本突增与延迟退化,并定位导致问题的部署版本。