Token saver

可自行托管的缓存代理，可降低 LLM API 成本

Token saver 是一款自托管的 LLM API 缓存代理，位于你的应用与模型 API 之间，通过 SHA256 精确匹配和 sentence-transformers 向量相似度识别重复或近似请求，从而减少不必要的调用成本。它可拦截重试、刷新以及不同用户提出的相同问题，并提供用户预算、Slack/邮件提醒、速率限制、按模型成本分析和异常检测等功能。