产品详细介绍

更低廉的推理成本。仅需一个URL。无需修改代码。

AIVory Smart Inference 是一款帮你降低大语言推理成本的AI工具，它能实时将每一次LLM调用路由到提供相同模型的最便宜服务商，只需替换一个URL，无需修改任何代码就能接入使用。它兼容OpenAI接口，支持50+模型，采用即用即付模式，平均能帮用户节省约30%成本，开放权重模型最高可省89%，也支持一键自助搭建Spot GPU实例并通过同一端点路由。

定价方案

需要付费

Credits from $10/pay-as-you-go

即用即付

✓
无订阅
✓
无需按席位收费
✓
代币价格不涨价

查看官网价格

创始人评论

M

Maker创始人

嘿，Product Hunt 👋

我是 Jenni，AIVory Smart Inference 的开发者之一。

我们开发这个工具的起因是一个一直困扰我们的问题：AI 供应商一直在降价，但你却还是在按原价付费。所有供应商都存在严重的产能过剩，如果你知道何时何地去找，就能以更低的价格用到这些闲置产能。但优惠通常不会通过最直接的渠道提供——所以你没法享受到这些优惠，而你的账单也说明了这一点。

Smart Inference 只需一处修改就能解决这个问题：

base_url = "https://smart.aivory.net/v1"

就是这样。你可以保留原有的 OpenAI SDK、提示词、重试逻辑、流式响应处理器和工具调用 schema。每个请求都会实时路由到当前最便宜且运行正常的对应模型供应商。中位数降价幅度约为 30%；对于价差较大的开放权重模型，我们观察到最高可节省 89%。

本次上线包含以下功能：

* 50+ 模型通过一个端点提供服务——涵盖 GPT、Claude、Gemini、Llama、Mistral、DeepSeek、通义千问等

* 实时现货定价——持续刷新，按价格从低到高排序

* 节省仪表盘——展示你实际支付的费用对比 OpenAI/Azure/AWS/Anthropic 原本会收取的费用

* 即用即付——最低 10 美元起充，额度永久有效，无需订阅，不限座位数

而且，有时候仅靠路由还不够——当你想要在自有硬件上运行开放权重模型时，Smart Inference 还能在同一个仪表盘中聚合多个供应商的现货 GPU 容量。一键部署 H100，然后通过同一个 OpenAI 兼容端点路由即可。后端模式切换对你的代码完全透明。

Smart Inference 是 AIVory 平台的一部分——Guard（你的代码合规扫描工具）和 Architect（你的基础设施可视化设计工具）共享同一个后端。但 Smart Inference 完全可以独立使用，这就是我们今天上线的产品。

现在已经开放抢先体验。我们全天都在评论区等候，非常期待收到你的反馈。

-- Jenni 与 AIVory 团队

官网信息

官网https://aivory.net/smart-inference/

公司使命

一款 AI 推理路由器，可为每个请求找到最便宜的提供商，在保持 OpenAI 兼容性的同时自动重新路由到最便宜的可用端点。

AIVory Smart Inference