Antirion

嘿，Product Hunt 👋 我是 Elias，我构建了 Antirion。

我上一份工作时，我们使用的 LLM 网关是请求链路中最慢的一环：它增加的延迟超过了网络本身，几乎不做什么却消耗数 GB 内存，而且仍然无法告诉我是哪个团队耗掉了预算。

每个发布 AI 的团队最终都需要同样的能力：集中管理服务商密钥、在服务商宕机时进行故障转移、按团队设置预算、添加防护机制，并记录每次调用的成本。我想在不增加延迟的情况下拥有所有这些功能。

因此，Antirion 是一个 Rust 二进制文件，内置控制台：

⚡ 在 4 个 vCPU 上处理 5,000 RPS 时，开销仅为 0.53 毫秒。Bifrost 在同一台机器上会增加 19.7 毫秒（慢 37 倍），而 LiteLLM 在该速率下会失败。

🔀 通过一套 API 接入 OpenAI、Anthropic、Bedrock、Vertex、Gemini、Mistral、vLLM 等服务，并支持故障转移、重试、请求对冲和断路器。

💸 按组织、团队、项目和密钥，以美元或 token 为单位设置预算和速率限制，并在额度耗尽前发出警报。

🛡️ 支持 PII 和机密信息脱敏，以及提示词注入检查，即使处理流式响应也适用。

🔎 请求日志会展示路由、每次重试、token 数量以及每次调用的成本。

不相信这些数字？基准测试工具已经放在代码仓库中，你可以在自己的 AWS 账户中重新运行。

它采用 Apache-2.0 许可证，并且完全支持自托管。想问你一件事：你最先会通过它路由什么？又是什么因素会阻止你将它投入生产环境？我会一整天留在这里回答问题 🙏