官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
Will It Jev?
在调用 LLM 之前，先问一句：它能 JEV 吗？
Will It Jev? 是什么？
Will It Jev 是一款基于 Rust 的进程内 LLM 路由引擎，能够在 5 毫秒内完成请求的分类与路由分配。它通过字节级自动机、子词分类器和闭式评估器构建的多级确定性回退机制，仅在必要时才升级到 embedding 模型或大语言模型。因此，大多数简单请求可以直接在本地解析，无需触及任何外部模型。
产品详细介绍
在调用 LLM 之前，先问一句：它能 JEV 吗？
Will It Jev 是一款基于 Rust 的进程内 LLM 路由引擎，能够在 5 毫秒内完成请求的分类与路由分配。它通过字节级自动机、子词分类器和闭式评估器构建的多级确定性回退机制，仅在必要时才升级到 embedding 模型或大语言模型。因此，大多数简单请求可以直接在本地解析，无需触及任何外部模型。
定价方案
需要付费创始人评论
#Forest创始人
这个项目的灵感显而易见，来自于想要减少我们疯狂的 token 消耗。但我们也希望在做到这一点的同时，不给已经相当复杂的技术栈增加延迟。
创始团队
#Forestspot.io cto
