Lloyal

{"translation":"Product Hunters 大家好！\n\n我是 Zuhair，Lloyal Labs 的创始人。今天我们正式发布 lloyal-ai：一个将开源权重模型转化为用户可下载、可直接使用的真实 AI 应用的平台。\n\nAI 开发者通常有两种选择：从外部供应商租用智能能力，或者自行搭建一套包含推理服务器、编排框架、向量数据库和 Docker 容器的技术栈。\n\n搭建本身并不难。难的是把整套技术栈打包成单一应用，让用户下载后就能"开箱即用"。\n\n接下来是部署问题：同一个 AI 应用能否在个人笔记本上离线运行，能否通过 NVIDIA DGX Station 这类本地设备服务多个用户，又能扩展到顶级 GPU 集群？\n\n在 API 包装器盛行的时代，我们大胆地抹去了模型与运行时之间的 HTTP 边界，将它们融合到同一个进程中。\n\n由此诞生了以下能力：\n\n1. 编程式实时注意力状态：你的 TypeScript 代码可以在 GPU 上将 KV 缓存分叉为多个并发智能体。它们继承模型已读取的内容，沿着不同的推理路径前进，并由你的应用掌控最终的汇聚过程。\n\n2. 模型组合：为推理智能体开箱即用地配备常驻专家模块，涵盖检索、排序、视觉等任务，或添加你自己的专家模块用于分类、推荐等场景。在普通 TypeScript 中将它们组合为服务，或将专家模型作为工具暴露给推理模型调用。\n\n3. 参与实时推理的工具：lloyal 中的工具拥有"超能力"：它们可以访问智能体状态、派生子智能体，并对整个智能体群体已完成的工作做出响应。它们的输出会直接反馈到同一个实时上下文中。\n\n至于运行形态问题：同一个应用既可以在 Desktop 目标下离线运行于你的笔记本，也可以在 Web 目标下服务于多个用户，并扩展到顶级硬件。\n\n底层原理：共享的智能体上下文加上 liblloyal 的 Continous Tree Batching 算法（https://github.com/lloyal-ai/lib...），使得并发智能体的成本由空间换取，而非计算资源（RunPod CEO Zhen Lu 曾就此发文：https://www.linkedin.com/posts/z...）。\n\n立即上手：\n\nnpx lloyal-ai new\n\n无需 API Key，无需 Docker、Ollama、LangGraph、Mastra，也不需要向量数据库。\n\n只需你的代码与模型 —— 你会构建什么？"}