官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
shad0w
为您的 LLM 提供 System 0：微秒级重复回答
shad0w 是什么？
shad0w 是为 LLM 打造的"系统 0"快速响应层：它会观察大模型对高频小问题（如意图识别、团队路由、垃圾信息判断）的回答规律，通过学习后以微秒级速度直接返回结果；只有它经过验证、有把握的部分才会自行处理，其余请求则照常交还给大模型。作为开源项目，它主打用极低成本为重复性问题加速。
产品详细介绍
为您的 LLM 提供 System 0：微秒级重复回答
shad0w 是为 LLM 打造的"系统 0"快速响应层：它会观察大模型对高频小问题（如意图识别、团队路由、垃圾信息判断）的回答规律，通过学习后以微秒级速度直接返回结果；只有它经过验证、有把握的部分才会自行处理，其余请求则照常交还给大模型。作为开源项目，它主打用极低成本为重复性问题加速。
定价方案
需要付费创始人评论
Gaurav Chauhan创始人
嗨，Product Hunt 👋 我是 Gaurav。
几个月来，有一个数字一直困扰着我：1.4 秒。这是我们的 LLM 回答「这条消息属于哪种意图？」所花的时间。这不是一个难题，它已经被回答过上千次了。🔁
于是我构建了 shad0w——我的 LLM 的影子。
它部署在你的 LLM 前面，安静地观察它的回答。当积累到足够的样本（约 1,000 条）后，它会把它们编译成一张小表，然后在普通 CPU 上以微秒级速度自行回答那些重复的问题。它拿不准的内容仍然会交给你的 LLM，并把得到的回答记录下来，让它持续学习。
让我忍不住笑出来的那一刻：🐍 我让它仅仅通过观察一个 LLM 玩贪吃蛇来学习。当 LLM 以每秒 10 步的频率运算时已经跟不上节奏，一头撞死在墙上。而它从同一个 LLM 学到的那张 2 KB 的小表却一直在不停吃豆。你可以在这里观看真实录像：
https://2796gaurav.github.io/sha...
或者直接在浏览器里挑战它的 Pong（每一帧的决策只需 1.5 微秒）：
https://2796gaurav.github.io/sha...
我最在意的一点是：它知道它不知道什么。在回答任何问题之前，它会用从未见过的回答进行测试，只有当它与你的 LLM 的一致率达到 95% 以上时才会作答。对于像电影评论情感这样模糊的问题，它的作答率为 0%，把一切都交回去。这是有意为之的。
我把它叫做 System 0：System 2 负责思考，System 1 负责决策，System 0 负责记忆。
它免费并且开源（Python、JavaScript、C）。正在用 OpenAI Decisions API？只需改一个 URL。
🎬 2 分钟讲解：https://2796gaurav.github.io/sha...
💻 代码：https://github.com/2796gaurav/sh...
我很想知道：你的应用会反复向它的 LLM 询问什么小问题？@traffic，告诉我它在哪里掉链子。我全天都在。🙏
创始团队
Gaurav ChauhanAI tinkerer
