Zero-markup OpenAI-compatible router.

你好，我是 Hisham，SentioGate 是我做的。

我不断看到同一种情况：大多数请求其实并不需要被路由到的那个模型。简单问题被送到了昂贵的前沿模型，而要在不同提供商和密钥之间手动切换，既繁琐又容易出错。

于是，我做了一个路由器：它使用你自己的密钥，不额外加价，并且只会从你在 vault 中批准的模型里进行选择。对于每个请求，它会先对提示词进行分类，再根据实时价格、实测成功率和延迟，选择一个成本最低且足以胜任的模型。

在开发过程中，这个思路发生了很大变化。早期，只要出现一次限流错误，就可能让一个表现良好的模型退出轮换，因此我后来改用了平滑后的成功率和质量区间。我还构建了“级联”模式（先尝试低成本模型，必要时再升级）以及回答长度上限。在我的测试中，这两项都没有节省成本，因此发布时都默认关闭。真正带来显著改善的是缓存、透传提供商的提示词缓存，以及单纯把模型选好。

为了发布，我使用同一个 CommandCode 密钥，用 60 道高难度提示词进行了一场正面对比。我们的自动方案答对了 59/60，预估成本比专门负责选模型的决策模型低约 62%，中位延迟也只有后者的一半。这个样本量不大，而且部分差距来自决策模型自身的调用成本，所以我会把这看作令人鼓舞的结果，而不是充分证据。我很乐意公开这些提示词和测试代码。

欢迎提供反馈，尤其希望了解它如何进行路由，以及在哪些情况下会选错模型。