Lifeboat

{"translation":"嘿 Product Hunt 👋 我是 Brian，Iterate.ai 的联合创始人。\n\n我们之所以开始打造 Lifeboat，是因为我们反复撞上同一堵墙：从聊天机器人走向真正 agent 的那一刻，一个用户不再只是一次请求——而是几十个链式调用狂轰 GPU。并发撑不住，延迟飙升，而常见的应对要么是"多买些 GPU"，要么是"量化模型然后忍受质量损失"。两条路我们都觉得不对。\n\n于是 Lifeboat 选择了另一条路：\n\n在同一块 GPU 上以全精度塞进 2–6 倍更多的并发 agent——我们不会为了凑数字去量化你的权重。\n在高负载下保持吞吐平稳，而不是在所有 agent 同时开火时眼睁睁看着它崩塌。\n把机密计算内置进引擎（TEE 远程证明、使用中权重加密），让受监管的团队也能真正在敏感数据上跑起来。\n同一套引擎随处可跑——从桌上的一台 DGX Spark 或 AMD Strix Halo，到机架里的 B300，原生支持 ROCm。\n\n有几件事我真心想听听这个社区的看法：\n\n你的 agent 栈今天到底卡在哪里——原始 tokens/秒、并发、每会话成本，还是数据/合规？\n对于自托管的各位：你当初为什么选 vLLM / SGLang / Ollama 等方案？什么会让你换？\n全精度 vs 量化对你的实际用例究竟有多重要？好奇有多少人在默默接受那份质量损失。\n\n想本地试用的话，免费开发者许可证在此：https://iterate.ai/lifeboat\n\n我今天全天都会泡在评论区——尽管问，包括关于基准测试和我们还不够扎实地方的硬核问题。"}