官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
Token saver
可自行托管的缓存代理，可降低 LLM API 成本
Token saver 是什么？
Token saver 是一款自托管的 LLM API 缓存代理，位于你的应用与模型 API 之间，通过 SHA256 精确匹配和 sentence-transformers 向量相似度识别重复或近似请求，从而减少不必要的调用成本。它可拦截重试、刷新以及不同用户提出的相同问题，并提供用户预算、Slack/邮件提醒、速率限制、按模型成本分析和异常检测等功能。
产品详细介绍
可自行托管的缓存代理，可降低 LLM API 成本
Token saver 是一款自托管的 LLM API 缓存代理，位于你的应用与模型 API 之间，通过 SHA256 精确匹配和 sentence-transformers 向量相似度识别重复或近似请求，从而减少不必要的调用成本。它可拦截重试、刷新以及不同用户提出的相同问题，并提供用户预算、Slack/邮件提醒、速率限制、按模型成本分析和异常检测等功能。
定价方案
需要付费创始人评论
M
Maker创始人
ProductHunt 大家好！我构建 TokenSaver，是因为我的团队在不知情的情况下，为相同的 GPT-4o 调用重复付费了 3-4 次。
关键洞察是：大多数团队会反复发送相同的提示词——超时后的重试、多个开发者构建同一个功能、仪表盘刷新。SHA256 缓存可以捕获完全重复的请求。语义嵌入缓存可以捕获近乎相同的查询。
它支持使用 Docker 自托管，兼容任何 OpenAI 兼容客户端。小团队可免费使用（MIT 许可证）。
我在印度孟买独立完成了这个项目。期待你的反馈！
