TokenProxy

借助高速Rust网关阻止LLM超支 🦀

TokenProxy 是一款用 Rust 构建的高速 AI 网关，帮助团队实时控制大语言模型的使用成本，避免超支。它支持设置实时硬预算限制、自带密钥管理、为开发者和项目分配带独立限额的代理密钥，还提供统一的 OpenAI 兼容接口，可同时访问 GPT-4 和 Claude 3.5，且零延迟开销。