Vidai

Product Hunt 的朋友们 👋

我是纳古，Vidai 的联合创始人，公司位于苏格兰。

我的职业背景是基础设施领域——在这里，每毫秒、每字节都真金白银：我做过低延迟广告技术、低延迟视频流，最近在超大规模企业负责合规级别的 AI/创意基础设施建设。性能优化和合规纪律本质上是同一种思维方式，只是应用边界不同。我们正是带着这种视角打造了 Vidai。

我们反复观察到这样一个行业规律：团队先选一个大语言模型供应商，接着再加第二个、第三个。不出几个月，AI 流量就会变得杂乱无章，成本爆炸式增长（智能体工作流会让单任务调用次数扩大 10 到 100 倍，而针对聊天级流量设计的面板刷新速度根本跟不上，无法及时发现成本失控），然后合规官就会问出 CSV 导出回答不了的问题。为了应对这些问题，平台团队不得不凑方案：用 LiteLLM 做转换，找个工具做链路追踪，自己写代码管成本、写代码做护栏、写代码做故障降级。七个库，七个 CVE 暴露面，七个夜间告警。没人故意要搭这么一堆栈，中间件就这么变成了你没打算做的产品。

一个好的网关能把请求转发给模型，这已经是个不错的起点。但网关解决不了一个问题，也是最让大家意外的问题：「难道我们非要把提示内容发到第三方 SaaS 才能做路由决策吗？」

Vidai 扩展了网关原本的边界。一个 Rust 二进制文件就能一次完成全部七项工作，代理路径中内置了双向原生转换：你用 Anthropic SDK 发起调用，可以路由到 OpenAI，响应会自动转换成 Anthropic 格式返回。原生进，原生出。不需要强制改写成 OpenAI 格式的客户端。成本归因、内联策略和完整审计都在你的网络边界内随请求完成。供应商无关、框架无关，不回传数据。

我们为实现这个目标设定了四个指标：超大规模企业级效率、高负载下仍能保持的超低延迟、普通硬件就能承载的极高吞吐量，以及不需要重写代码就能一键接入。

我们选择 Rust 是因为它能帮我们同时满足所有这些要求；在老旧 8 核节点上开启成本、策略和审计功能仍能达到 1.95 毫秒中位数延迟，这背后都是我们做的工程取舍。完整基准测试、测试方法，以及在 12k RPS 下与 Python 编排相比 p95 延迟低 3400 倍的数据都在我们的技术博客里：

https://vidai.uk/blog/rust-pytho...

企业里有两个角色会直接感受到差异：CFO 能实时看到按团队/应用/模型拆分的支出视图，还能设置预算，超预算直接拦截下一次调用。CCO 从第一天起就能拿到完整审计追踪。你不会等监管发邮件那周才去搭审计追踪——那时候你需要的证据都是半年前发的请求了。Vidai 从第一个请求开始就记录追踪，结构化格式可以直接对应到 ISO/IEC 42001 声明适用性、欧盟人工智能法案第 12 条、数字运营韧性法案、GDPR 第 44 条。

几个值得关注的内容：

免费社区版是完整的自托管控制面，只要有 CPU 就能在任何地方运行。你的 VPC、你的笔记本，真想跑的话树莓派也可以。入门请访问：

https://vidai.uk

Rust 对比 Python 的性能分析文章：

https://vidai.uk/blog/rust-pytho...

与 LiteLLM、Portkey、Kong AI、Bedrock 的对比：

https://vidai.uk/ai-gateway-comp...

基准测试方法（可复现）：

https://vidai.uk/performance

还有 Vidai.Mock，我们的开源配套工具：用于 CI 的线级精准 LLM 模拟服务器。Apache 2.0 许可，确定性运行，不需要真实 LLM 密钥。可以离线模拟 OpenAI、Anthropic、Gemini 和 Bedrock，拥有和生产一致的流式响应和错误行为：

https://github.com/vidaiUK/Vidai...

我真心希望得到大家的反馈：

对于已经在使用网关的团队：在哪一刻你的网关解决不了新出现的问题？（监管要证据？智能体级成本归因？第二个团队的合规策略和第一个不兼容？）

「社区版就是完整产品」这个模式对不对？还是我们应该保留一些功能不开放？我们判断，要让大家信任自托管社区版能用于生产审计流程，就得把它做成完整可用的生产产品。

我很乐意回答任何问题。技术、商业、命名，什么都可以。如果你今晚是工程师来试用，也欢迎把发现的问题告诉我，这种反馈对我们来说最有价值。

纳古 🏴󠁧󠁢󠁳󠁣󠁴󠁿 苏格兰

https://vidai.uk