AI工具导航

LLMCap

对大型语言模型API调用的硬性美元上限。当触发该上限时,调用将被终止。

LLMCap 是什么?

LLMCap 是一款用于 LLM API 调用的反向代理工具,可以帮你给大模型 API 调用设置硬性美元额度上限。只需修改一行 base_url 配置并设置额度,当消耗触顶后,新请求会直接返回 429 错误,不会产生额外费用,支持 Anthropic、OpenAI、Gemini 等主流提供商,仅增加不到 35 毫秒延迟,还提供实时消费看板和审计日志。

产品详细介绍

对大型语言模型API调用的硬性美元上限。当触发该上限时,调用将被终止。

LLMCap 是一款用于 LLM API 调用的反向代理工具,可以帮你给大模型 API 调用设置硬性美元额度上限。只需修改一行 base_url 配置并设置额度,当消耗触顶后,新请求会直接返回 429 错误,不会产生额外费用,支持 Anthropic、OpenAI、Gemini 等主流提供商,仅增加不到 35 毫秒延迟,还提供实时消费看板和审计日志。

定价方案

需要付费
$19/mo/月付
入门版
  • 2 个 API 密钥

  • 全部5个提供商

  • 每日 & 每月额度上限

$49/mo/月付
专业版
  • 无限 API 密钥

  • 全部5家提供商

  • 每密钥和每模型限额

查看官网价格

创始人评论

Faruk Celikkanat
Faruk Celikkanat创始人

嘿 Product Hunt!我看到 GitHub 上有人发了因为单次配置错误产生 37901 美元的 AWS Bedrock 账单后,做了 LLMCap 这个项目。

现有工具(Helicone、AWS Budgets)的问题是,它们都是在你已经花了钱之后才发提醒。LLMCap 是一个反向代理——当你达到额度上限时,会在令牌抵达服务商之前就返回 429 错误。

它有意思的工程挑战在于:不需要缓存完整响应就能在流传输过程中强制实施额度上限。欢迎提问架构相关问题!

创始团队

Faruk Celikkanat
Faruk Celikkanat创始团队

官网信息

官网https://www.llmcap.io/?ref=producthunt
公司使命

当用量达到你设定的限额时,它就会自动停止。不是仅仅发送提醒——而是直接停止运行。只需修改一行代码。永远不会产生意外账单。