AI工具导航

LLMTrace

找出哪次提交导致你的LLM账单爆炸

LLMTrace 是什么?

LLMTrace 是一款可以帮助开发者定位 LLM 服务费用异常上涨原因的自托管 Go 代理工具。它部署在你的 Anthropic/OpenAI 调用请求之前,会将所有请求的费用、用户信息和部署 SHA 记录到你自己的 Postgres 数据库中,当账单出现异常增长时,你可以快速定位到具体哪个代码提交导致了问题。只需通过 docker-compose 即可快速部署,5 分钟内即可完成配置,所有数据都保留在你自己的基础设施中,无需使用外部 SaaS 服务。

产品详细介绍

找出哪次提交导致你的LLM账单爆炸

LLMTrace 是一款可以帮助开发者定位 LLM 服务费用异常上涨原因的自托管 Go 代理工具。它部署在你的 Anthropic/OpenAI 调用请求之前,会将所有请求的费用、用户信息和部署 SHA 记录到你自己的 Postgres 数据库中,当账单出现异常增长时,你可以快速定位到具体哪个代码提交导致了问题。只需通过 docker-compose 即可快速部署,5 分钟内即可完成配置,所有数据都保留在你自己的基础设施中,无需使用外部 SaaS 服务。

定价方案

有免费方案
Free/免费
自托管
  • 自托管代理

  • 记录每一次 LLM 调用(令牌数、成本、延迟、模型、Prompt 指纹)

  • 使用滚动7天基线检测成本突增

查看官网价格

创始人评论

Raghav Sharma
Raghav Sharma创始人

我之前一次糟糕的提示悄悄让我的Anthropic账单翻倍了,我却完全不知道是哪次部署导致的,于是就做了这个工具。Helicone和Langfuse都很不错,但它们只会给你展示症状,而非根源。

LLMTrace是一个Go代理,它会为每个LLM调用标记上触发该调用的提交SHA。支持自托管,没有厂商锁定。欢迎大家提问,我很乐意解答归因工作原理相关的任何问题。

创始团队

Raghav Sharma
Raghav Sharma创始团队

官网信息

官网https://github.com/Yatsuiii/llmtrace
公司使命

适用于 AI 智能体的自建可观测性平台。记录您的智能体发出的每一次 LLM 调用。检测成本突增与延迟退化,并定位导致问题的部署版本。