- ✓
暂未采集到具体套餐,价格以官网为准
Galahad: The AI That Never Forgets
让任何 LLM 提速 20 倍且 100% 准确
Galahad: The AI That Never Forgets 是什么?
Galahad 是一款可直接部署在你已有 GPU 服务器上的 LLM 加速优化工具,无需更换硬件即可让现有算力产出数倍的工作量,并号称能让任意大语言模型实现 20 倍提速与 100% 准确率。其官方公布的每一项性能数据均经过严格测算并通过 SHA-256 校验,确保结果真实可追溯。
产品详细介绍
让任何 LLM 提速 20 倍且 100% 准确
Galahad 是一款可直接部署在你已有 GPU 服务器上的 LLM 加速优化工具,无需更换硬件即可让现有算力产出数倍的工作量,并号称能让任意大语言模型实现 20 倍提速与 100% 准确率。其官方公布的每一项性能数据均经过严格测算并通过 SHA-256 校验,确保结果真实可追溯。
定价方案
需要付费创始人评论
嗨,Product Hunt 👋 我们是 Corbenic,Galahad 背后的团队。
我们打造 Galahad,是因为我们相信 AI 应该拥有持久的记忆,而不应受限于 GPU 显存(VRAM)所能容纳的内容。当模型和智能体反复处理相同的上下文时,我们往往要为它们已经完成的工作重复买单。我们希望让这些工作持续发挥价值。
Galahad 是面向 AI 模型和智能体的持久化记忆层。它将可复用的模型状态(即 KV cache)保存到磁盘,使匹配的上下文可以从保存的状态中恢复,而无需重新计算,即使在重启后也是如此。它还提供文档记忆功能,方便应用存储和检索相关知识,并支持与 vLLM、SGLang 等推理框架的集成。
我们的目标是减少 GPU 上的重复计算,让智能体工作流更加高效,并在内存复用能发挥作用的地方降低 AI 的运行成本。
我们以 Beta 版的形式正式发布。我们对所构建的产品充满信心,现在发布是为了向在真实业务负载中使用它的用户学习。我们希望了解 Galahad 在哪些场景下能带来帮助、还存在哪些不足、哪些集成是必需的,以及哪些地方仍需改进。
我们更长远的愿景,是让持久化记忆成为 AI 基础设施中切实可行的一部分,帮助模型和智能体更好地利用我们交给它们的上下文和知识,而无需把所有内容都放进昂贵的 GPU 内存里。
如果你正在运行模型或构建智能体,我们非常期待听到你的声音:哪些内容一直在被反复计算?你又希望你的 AI 能够记住些什么?
感谢你的关注、提出的那些尖锐问题,以及帮助我们塑造下一步的方向。