SemanticGuard

开发这个项目是因为我亲眼看着我们的大语言模型（LLM）账单不断上涨。我们的大部分流量都是重复请求：同一个问题换个表述，同一个内容生成提示词换不同输入，第二天又来一遍的相同查询。服务商侧的提示缓存只对几分钟内字节完全一致的前缀生效，所以大概只能拦截十分之一的冗余请求。

所以我做了这个网关，它能识别出两个请求实际上是同一个需求。语义缓存的关键点在于正确性：只要输出一次错误答案，用户信任就没了。因此每次缓存命中都会在输出前先用你手里成本最低的模型校验一遍。

校验失败会自动标记。

集成是另一个设计约束。如果要改超过一行代码，根本没人会用。所以它就是简单的接入：在你的AI SDK配置里加上withSemanticGuard()就行。影子模式让你可以在不实际输出缓存响应的情况下统计能省多少钱，等你对数据放心了再开启缓存功能。

欢迎任何在生产环境跑大语言模型的朋友提反馈，尤其是关于验证层还有哪些不足的意见。