官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
Weir
用于 RAG 的语义缓存和模型路由
Weir 是什么？
Weir 是一款面向 RAG 应用的开源网关，集成了语义缓存、成本感知的模型路由以及每次请求的成本与延迟统计功能，帮助开发者在降低推理开销的同时提升响应效率。项目内置可运行 Demo、评估套件和负载测试，便于快速上手与性能验证。
产品详细介绍
用于 RAG 的语义缓存和模型路由
Weir 是一款面向 RAG 应用的开源网关，集成了语义缓存、成本感知的模型路由以及每次请求的成本与延迟统计功能，帮助开发者在降低推理开销的同时提升响应效率。项目内置可运行 Demo、评估套件和负载测试，便于快速上手与性能验证。
定价方案
需要付费创始人评论
Yatin Annam创始人
{"translation":"嗨，Product Hunt！👋\n\n我构建 Weir 是为了探索一个问题：我们能否在不影响回答质量的前提下，让 RAG 应用的成本更低？\n\nWeir 部署在现有 RAG 服务之前，结合了语义缓存、模型路由和按请求成本核算。\n\n最大的挑战之一是让语义缓存变得更安全。比如"ICU 探视时间"和"普通病房探视时间"这类问题在语义上相似，但需要的答案并不相同，因此 Weir 使用实体守卫来拒绝可能不安全的缓存匹配。\n\n在一次合成的、重复请求较多的 300 请求回放测试中，启用完整的 Weir 后，每 1,000 次请求的实测成本降低了 94%。另一次 158 题的冷启动测试显示节省了 20%。这些是基准测试结果，并非生产环境的保证，代码仓库中记录了相关的局限性和失败模式。\n\n非常希望听到大家对设计思路、评估方法，以及下一步应该测试哪些内容的反馈。\n\nGitHub：https://github.com/yatinannam/weir"}
创始团队
Yatin Annam创始团队
