- ✓
2 个 API 密钥
- ✓
全部5个提供商
- ✓
每日 & 每月额度上限
LLMCap
对大型语言模型API调用的硬性美元上限。当触发该上限时,调用将被终止。
LLMCap 是什么?
LLMCap 是一款用于 LLM API 调用的反向代理工具,可以帮你给大模型 API 调用设置硬性美元额度上限。只需修改一行 base_url 配置并设置额度,当消耗触顶后,新请求会直接返回 429 错误,不会产生额外费用,支持 Anthropic、OpenAI、Gemini 等主流提供商,仅增加不到 35 毫秒延迟,还提供实时消费看板和审计日志。
产品详细介绍
对大型语言模型API调用的硬性美元上限。当触发该上限时,调用将被终止。
LLMCap 是一款用于 LLM API 调用的反向代理工具,可以帮你给大模型 API 调用设置硬性美元额度上限。只需修改一行 base_url 配置并设置额度,当消耗触顶后,新请求会直接返回 429 错误,不会产生额外费用,支持 Anthropic、OpenAI、Gemini 等主流提供商,仅增加不到 35 毫秒延迟,还提供实时消费看板和审计日志。
定价方案
需要付费$19/mo/月付
入门版
$49/mo/月付
专业版
- ✓
无限 API 密钥
- ✓
全部5家提供商
- ✓
每密钥和每模型限额
创始人评论
Faruk Celikkanat创始人
嘿 Product Hunt!我看到 GitHub 上有人发了因为单次配置错误产生 37901 美元的 AWS Bedrock 账单后,做了 LLMCap 这个项目。
现有工具(Helicone、AWS Budgets)的问题是,它们都是在你已经花了钱之后才发提醒。LLMCap 是一个反向代理——当你达到额度上限时,会在令牌抵达服务商之前就返回 429 错误。
它有意思的工程挑战在于:不需要缓存完整响应就能在流传输过程中强制实施额度上限。欢迎提问架构相关问题!
创始团队
Faruk Celikkanat创始团队
官网信息
公司使命
当用量达到你设定的限额时,它就会自动停止。不是仅仅发送提醒——而是直接停止运行。只需修改一行代码。永远不会产生意外账单。