Avarodh

嗨，Product Hunt！👋

我是 Sanjay，Avarodh 的创始人。在将大语言模型（LLM）功能投入生产环境的过程中，我因为深感挫败而开发了这款产品。

每当应用规模扩大时，总会发生两件事：API 成本激增，因为用户反复提出语义相同的提问；同时，安全团队也会对提示词注入（prompt injection）以及敏感数据在未经监控的情况下流向 OpenAI 发出警报。

在应用逻辑中硬编码正则校验、速率限制和自定义缓存，会让原本整洁的代码库变得脆弱臃肿。我希望能有一个透明的中间层，部署在 LLM 提供商之前，自动处理安全与成本优化问题。

于是便有了 Avarodh：一款零信任 AI 反向代理（Zero-Trust AI Reverse Proxy），作为标准 OpenAI SDK 的即插即用替代方案。你只需替换 base_url，并传入一个 Workspace ID 即可。

Avarodh 在边缘层处理以下事务：

🛡️ 基于 DSPy 的意图路由：摒弃脆弱的关键词过滤，所有请求负载都会经过编译后的 DSPy 签名进行评估，在触及你那些昂贵的目标模型之前，就拦截掉提示词注入和违规策略。

🧠 租户隔离的语义缓存：我们使用 Supabase 和 pgvector，并通过严格的复合分区策略来缓存语义匹配结果。如果一条查询与之前的安全请求共享相同意图，系统将立即返回结果——完全绕过上游 LLM，从而大幅降低延迟和成本。

🔒 企业级隐私控制：敏感工作负载只需传递 "Cache-Control": "no-store" 即可完全跳过缓存数据库写入，同时仍保留完整的 DSPy 防火墙保护。

🔑 BYOK 架构（自带密钥）：Avarodh 会原样透传你的 Authorization 请求头。它可以安全地与你现有的 OpenAI 配额或内部部署配合使用，且不会拦截你的密钥。

技术栈：Avarodh 的 Python Data Plane 部署在 Render 上，以避免无服务器冷启动；而全响应式的 Control Plane 则使用 Next.js 构建并托管于 Vercel。所有数据由 Supabase 提供支持，确保稳健的租户隔离与行级安全策略（Row Level Security）。

我们提供永久免费的开发者套餐，每月包含 10,000 次代理请求，任何人都可以立即对路由延迟进行压力测试。

想亲身体验集成有多么丝滑？我准备了一个 Quickstart 仓库：https://github.com/SanjayManjunath/avarodh-quickstart

我今天全天都会在线解答问题。非常期待听到你对上手流程、控制平面仪表盘的真诚反馈，以及你希望接下来看到哪些护栏（guardrail）集成！