Sipp

Product Hunt 的朋友们好！👋 我是 Noumena Labs 的创始人 Jeremy，也就是 Sipp 的开发者 :)

我们打造的 Sipp 是一个简洁统一的 API，支持在本地、通过服务商或自托管网关运行 AI 模型。它是一个零依赖库，可在浏览器中实现快速推理，在我们的基准测试中，每秒生成 token 速度是主流替代方案的最高 3 倍。

我们开发 Sipp 的目标是让嵌入式和本地 AI 变得更实用，同时不牺牲通过服务商 API 运行大模型的实用性。本地 AI 支持很多强大的使用场景，比如持续监控、决策、聊天助手机器人、游戏等等。我们的使命是帮助开发者构建那些当 token 成本近乎“免费”时才得以实现的产品。

以下是 Sipp 的独特优势：

• 🚀 超快 WebGPU：直接在浏览器中运行模型，无需安装，内置模型缓存支持。在我们的基准测试中，与其他浏览器运行时相比，Sipp 的首token生成时间和解码速度快 3 倍至 5 倍。

• 🔀 统一 API：一次编写代码，无需重写应用即可无缝切换或分流本地浏览器执行、云网关和远程服务商。

• 🌍 本地起步，任意扩展：虽然我们最初聚焦浏览器，但相同的客户端 API 也可通过 Node、Rust、Python、裸机或你自己的服务器基础设施使用。我们目前支持 CUDA、Vulkan 和 Metal 后端，后续会在完善库的过程中新增更多后端支持。

• 🧃 零依赖：100% 开源、类型安全，基于 Rust / C++ 构建。

我们官网有一个可在线体验的 演示，你可以选择一个模型，亲眼看到它 100% 在你的浏览器端设备上运行。我们还提供了基准测试工具，你可以自行运行测试，直接对比结果。

我今天全天都会在这里！很乐意深入讲解技术细节、实现方案或代码。如果你有想要探索的特定用例，我也非常期待听到你的分享。