TokenProxy

借助高速Rust网关阻止LLM超支 🦀

TokenProxy 是什么？

TokenProxy 是一款用 Rust 构建的高速 AI 网关，帮助团队实时控制大语言模型的使用成本，避免超支。它支持设置实时硬预算限制、自带密钥管理、为开发者和项目分配带独立限额的代理密钥，还提供统一的 OpenAI 兼容接口，可同时访问 GPT-4 和 Claude 3.5，且零延迟开销。

借助高速Rust网关阻止LLM超支 🦀

需要付费

官网查看

定制方案

Maker创始人

你好 Product Hunt！👋

我是一名高级软件工程师，专注于高性能系统开发，领域包括金融科技和加密货币。过去一年里，我见过太多「账单惊吓」事件：一个简单的编码错误或未监控的测试，就导致大语言模型（LLM）服务超支数千美元。

因此我开发了 TokenProxy，彻底解决这个问题。

我选择 Rust 作为核心开发语言，因为当代理敏感 API 密钥和生产流量时，速度和内存安全绝不能妥协。TokenProxy 仅增加亚毫秒级开销，同时为你的预算提供「终止开关」保护。

为什么你会爱上它：

• 实时强制管控：不同于存在延迟的服务商仪表盘，我们会即时拦截并统计令牌

• 自带密钥（BYOK）：密钥由你保管，我们仅提供控制层

• 精细化限额：你终于可以为初级开发人员或 CI/CD 流水线分配严格限流的独立 API 密钥

• 支持 Claude + OpenAI：无需重写集成代码即可在不同模型间切换

我们目前处于抢先体验阶段，正在开发最终版仪表盘功能。我非常期待听到你的想法，看看你还希望看到哪些成本控制功能！

我今天一整天都会在这里，解答关于架构或路线图的任何问题。🦀