OpenDecider

你好！我是 Manjunath，我构建了 OpenDecider。

为什么构建它：在我研究过的大多数智能体工作流中，很大一部分 LLM 调用并没有生成任何内容，它们只是在做决策：这是计费还是支持类问题？这个问题应该交给研究智能体还是人工处理？这个答案是否足够好可以发送？每一次这样的决策都需要一次完整的 LLM 调用，并增加一秒以上的延迟，却无法提供可靠的可信度评分。

它的功能：OpenDecider 是一系列为这些决策专门训练的小型开源模型。你向它提供输入、选项和问题，一次前向传播即可为每个选项返回一个概率，当它不确定时，会将任务交给你的后备方案，而不是盲目猜测。

包含内容：

🔹 支持 LangGraph/LangChain、LlamaIndex、Agno、CrewAI、Microsoft Agent Framework、Google ADK、PydanticAI 和 Strands 的集成，以及为 Claude Code、Cursor 和 Mastra 提供 MCP 服务器。

🔹 模型从 nano（毫秒级，可在 CPU 上运行）到更大的 GPU 模型，并提供适用于 Ollama、LM Studio 和 Apple Silicon 的 GGUF 和 MLX 构建版本。

🔹 生产级组件：带有身份验证和 Prometheus 指标的批处理服务器、Docker 镜像、审计钩子、错误时的后备处理以及 OpenTelemetry spans。

🔹 每个框架都附带可运行的示例，无需 API 密钥。

全部采用 Apache-2.0 协议，开放权重，完全运行在你自己的硬件上，因此你的数据永远不会离开本地。

接下来：在每个框架自身的钩子中加入针对越狱和提示注入的防护栏、一个 TypeScript 客户端，以及可在浏览器中运行的 nano 模型。

我很想听听你打算在哪些场景使用它，以及你最先想把智能体中的哪些决策交给它。诚实地反馈还缺少什么，是你能给我的最有用的东西。