
决策模型新风口来了?
智东西10月12日消息,昨天,vLLM社区孵化的开源AI基础设施项目vLLM Semantic Router推出并开源多模态决策模型Decision 3.0系列。该系列模型能够根据输入内容完成分类、选择、是非判断和评分等任务,直接返回判断结果和概率,不生成长篇文本。

▲vLLM Semantic Router推出并开源Decision 3.0(图源:X)
这类不生成长文本,专门“做判断”的模型,近期因Jev走红而受到关注。Jev模型上线仅3天,其Token用量便达到1万亿;上线仅24天,其开发商TypeSafe AI便宣布获得a16z领投的8.7亿美元(约合人民币58亿元)融资,估值达到75亿美元(约合人民币502亿元)。
除Jev外,10月10日,微软也推出其决策模型Microsoft-Decision-1,通过Microsoft Foundry和OpenRouter提供服务。该模型基于Qwen3.5-9B微调,对预设选项评分、返回结构化判断及置信度,可用于工具选择、模型路由和Agent流程控制。
vLLM-SR的决策模型Decision 3.0共包含d3、d3-flash、d3-mini、d3-nano、d3-lite和d3-edge六款模型,参数规模覆盖0.6B至27B,相关模型权重已在Hugging Face开源。

开源地址:https://huggingface.co/collections/vllm-sr/decision-30
其中,旗舰模型d3基于Qwen3.8-27B打造,是一款27B的多模态模型,支持输入多张图片和视频。其余5款模型则基于不同参数规模的Qwen3.5打造。
与Jev不同的是,Jev主要通过云端API提供文本决策服务,Decision 3.0则开放权重,支持本地部署,可以直接处理图片和视频。
目前,在决策能力榜单Jev Decision Index 0.3.1榜单中,d3文本决策指数为64.7分,公开集得分为65.5分,位列文本榜第一,超过Jev的60.1分。d3(27B)、d3-flash(9B)及d3-mini(4B)的成绩均领先于微软Decision-1(9B)的53.2分。
在视觉榜中,d3得分为71.6分,同样排名第一。此外,9B参数的d3-flash在文本榜中获得59.8分,在视觉榜中获得66.9分,位列对应规模模型前列。

第三方评测方面,一位开发者在自己的网站上设置了75道工具选择题,让模型判断应调用哪个WebMCP工具。其本地Mac测试中,Microsoft-Decision-1答对71题,位列第一;d3-flash和d3-mini答对70题,并列第二;Jev答对69题;d3-nano则答对68题。

Desicion 3.0可以用于客服分流、内容审核、风险识别和模型路由等场景。
例如,客户称其收到的搅拌机破损,希望换货,并附上收据图片和配送视频。模型可以在一次请求中回答三个问题:该由哪个团队处理、收据是否包含这台搅拌机,以及包裹如何送达,分别给出“退换货团队”、“是”、“当面送达”三个回答。

团队公布的数据显示,在单张AMD Instinct MI325X GPU上运行时,d3处理文本请求的延迟中位数为55毫秒,处理包含图片的请求为273毫秒,处理10秒视频的请求为553毫秒。
还有一位开发者将d3-lite通过Core ML部署在搭载M5 Pro的Mac上,对1000个Pull Request(代码合并请求,PR)进行工作组分类与路由,总耗时约2分钟。实测视频显示,单个PR平均处理耗时约0.12秒,吞吐量约为每秒8.3个PR,整个推理过程在本地完成,无需调用云端API。

结语:类Jev模型瞄准AI决策需求
随着AI应用对意图识别、任务分类和模型路由等能力的需求提升,类Jev决策模型有望承担更多轻量、结构化的判断任务。它们可以先识别用户意图、判断请求类型,再将任务交给更合适的生成模型处理。
对于多模型系统来说,这类模型能够减少通用大模型处理简单任务的负担,同时帮助系统控制推理成本、提升响应速度和路由准确性。
文章来自于微信公众号 “智东西”,作者 “智东西”
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner