Olyx

Olyx 最初是我正在开发的 AI 基础设施平台中的一款内部工具。我需要在用于复杂数据外推的前沿模型和用于日常任务的私有模型之间进行路由分发，但我当时没有实时方法来验证路由变更是否真的节省了成本，或者它是否已经悄悄开始将 PII（个人可识别信息）泄露到未授权端点。

成本追踪只是事后拼凑出来的附加功能。审计生产环境意味着要手动拼接分散在不同服务商和应用中的日志。我维护代理基础设施花费的时间，比开发实际产品功能还要多。

所以我放弃了多语言库方案——在 Ruby、Python 和 TypeScript 代码库中维护相同逻辑简直是一场噩梦。我们转而采用 CLI 优先的设计。你的技术栈只需对接一个端点，代码使用什么语言就不再重要了。

在请求到达服务商之前，就会完成策略执行和 PII 脱敏。从第一个请求开始，每一次路由决策都会被记录——不可篡改，且支持导出，满足欧盟 AI 法案的记录留存要求。

目前开放抢先体验——链接在原帖中。我很乐意回答关于路由引擎、架构，或是你在自己技术栈中遇到的任何问题。