ngrok AI Gateway

嗨，Product Hunt 👋

我是 Niji，ngrok 的产品经理。今天我们要发布 ngrok.ai，即 ngrok 的 AI 网关。

多年来，ngrok 帮助开发者在几分钟（而非几天）内连接他们的应用和服务。

当我开始构建 AI 应用时，在应用层遇到了类似的基础设施问题。

一个应用可能一开始用 OpenAI，然后另一个用例用 Claude。随着更新、更快或更便宜的模型出现，我会创建更多账号并修改代码，仅仅是为了试用它们。最终，更专业化的需求会让我在自己的笔记本、私有 GPU 或内部云基础设施上运行微调或特定任务的模型。

没过多久，我就在管理多个网关和 SDK，在不同的配置文件和密钥库之间共享各提供商的密钥，在多个仪表盘中查看使用情况，维护复杂的回退逻辑，并且不小心暴露了本应保持私有的模型。

如果以上场景听起来很熟悉，这就是我们构建 ngrok.ai 的原因。它为你提供一个统一的托管网关，用于管理跨多个提供商、私有基础设施以及你自己硬件上的模型。

一个 URL 对应所有模型

上手很简单。将你的 SDK 指向 https://gateway.ngrok.ai 并使用你的 ngrok.ai 访问密钥，即可开始将请求路由到公有提供商、自定义端点以及你自己运行的模型。

它兼容所有主流 SDK，如 OpenAI、Anthropic 和 Vercel AI，因此你可以轻松切换模型和提供商，而无需重建整个应用。

除了作为托管的 AI 网关之外，我们还能让你：

• 私密连接自托管模型

将请求路由到运行在你的笔记本、本地 GPU 或私有网络上的模型，无需复杂的网络配置，无需开放入站端口，也无需处理 IP 问题。

• 在网关中构建回退机制

定义一个模型列表，当某个模型或密钥失败时，我们会再尝试一次，或将请求路由到一个健康的替代方案。

• 使用积分发起请求

利用 ngrok.ai 向 OpenAI、Anthropic、z.ai 等发起请求，而无需在每个提供商处单独创建账号。

• 使用你现有的提供商密钥

不想使用我们的账号？没问题，你可以直接带入你已有的 OpenAI、Anthropic 或自定义提供商的密钥。

• 按应用或开发者控制访问权限

创建独立的访问密钥，并决定每个密钥被允许调用哪些提供商和模型，以及每个模型应使用哪些密钥（无论是我们的还是你自己的）。

• 查看整个模型栈的使用情况

在一个地方统一跟踪令牌使用量、延迟、错误、模型、提供商和预估成本，而无需在多个提供商仪表盘之间拼凑信息。

• 通过仪表盘或 API 管理一切

使用我们的 API 或直接在 ngrok.ai 仪表盘中设置网关、密钥、提供商、访问规则和路由。

我们为谁构建这个产品

ngrok.ai 面向那些希望自由地为每个任务选择合适模型，而无需担心如何自行扩展和维护 AI 网关，也不想在每次模型策略变化时再承担一个基础设施项目的开发者和平台团队。

我们特别希望听到：

• 你们目前是如何在不同模型之间进行路由的？

• 你们在自己的基础设施上运行任何模型吗？

• 哪些网关功能会让你的 AI 栈更易于管理？

在发布期间，我们会一直在这里回答问题并听取你的反馈。感谢你的关注！