官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
VernLLM
LLM 调用的弹性层
VernLLM 是什么？
VernLLM 是一款轻量级的 LLM 调用弹性层，统一处理重试、超时、熔断、缓存、限流、可观测性以及跨提供商故障转移等基础设施问题，兼容 OpenAI、Anthropic、Bedrock、Gemini 等 30 多家厂商。它采用框架无关、适配器化的设计，让你能够自由切换模型提供商，同时支持 schema 校验输出、缓存合并、工具调用与流式响应。该工具致力于帮团队省去自行维护 LLM 基础设施所需的开发周期与线上事故。
产品详细介绍
LLM 调用的弹性层
VernLLM 是一款轻量级的 LLM 调用弹性层，统一处理重试、超时、熔断、缓存、限流、可观测性以及跨提供商故障转移等基础设施问题，兼容 OpenAI、Anthropic、Bedrock、Gemini 等 30 多家厂商。它采用框架无关、适配器化的设计，让你能够自由切换模型提供商，同时支持 schema 校验输出、缓存合并、工具调用与流式响应。该工具致力于帮团队省去自行维护 LLM 基础设施所需的开发周期与线上事故。
定价方案
需要付费创始人评论
LakBud创始人
嗨，Product Hunt！
在接触过每一个 LLM 项目之后，我看到同样的模式反复出现，于是构建了 VernLLM。有人发布了一个围绕服务商聊天补全调用的简单封装，演示场景下一切正常，可生产环境里服务商一抖动，整条管道就垮了——因为没有重试、没有超时、也没有降级方案。
VernLLM 就是我对这个问题的回应。它是一个韧性层，不是一个需要重新学习的新 SDK。带上你现有的 OpenAI、Anthropic 或任何其他客户端，包裹一下，就能免费获得重试、熔断、服务商降级、限流、缓存以及结构化输出校验。
有几件事我特别自豪。缓存合并真正能防止并发未命中时的雪崩，而不仅仅是套一层键值存储的壳。熔断器按目标隔离，一个服务商出问题不会影响另一个。还有零黑魔法——每个功能都是按需启用、完整类型化的，并配有真实 API 结构而非营销伪代码的文档。
我是一个厌倦了在每个项目里都从头写这些的工程师，所以我把它做成了社区可以依赖的东西。真心想听听你们在自己的技术栈中遇到的 LLM 可靠性问题，以及怎样才会让 VernLLM 适合你们的场景。
创始团队
LakBuddeveloper
