ARBR

嗨，Product Hunt 👋

我们打造 ARBR，是因为团队虽然能看到自己 LLM 的花费，但日志几乎回答不了生产环境中更棘手的问题：

哪些工作负载可以安全地切换到另一个模型？有什么证据支撑这次变更？上线之后结果是否依然成立？

ARBR 正是为了补上这一闭环。

它会持续观察工作负载，挖掘模型切换的机会，基于代表性流量构建评估数据集，并在质量、成本、延迟、格式遵循度以及关键故障等维度上对比候选模型。

最终决策仍由人来掌控。团队可以审批推荐方案，通过影子测试或带护栏的金丝雀灰度方式引入新模型，衡量实际节省的成本，并在质量下滑时回滚。

ARBR 是：

▪️ 自托管且厂商中立

▪️ 兼容 OpenAI 接口

▪️ 基于 MIT 协议开源

▪️ 可作为独立网关使用，也可部署在 LiteLLM 之上

▪️ 以显式、可审计、可回滚的路由决策为核心

被显式钉死的模型始终保持不变。当应用使用 model: "auto" 时，ARBR 仅按团队启用的规则与策略来路由。

无需添加任何厂商密钥，你就可以在 demo 模式下体验完整工作流，准备好之后再接入你自己的流量。

我们由衷期待听到在生产环境中运行 LLM 工作负载的团队的反馈：

▪️ 对你而言，这些证据足以支撑批准一次模型变更吗？

▪️ 还缺少哪些治理或部署方面的控制？

▪️ 我们接下来应该优先集成哪些厂商？

欢迎部署它、压测它、提 issue，或者告诉我们工作流哪里还不够完善。

GitHub: https://github.com/project-arbr/arbr-control-plane

Docs: https://projectarbr.org/docs/