官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
Nemotron 3.5 Bolt
在 24GB GPU 上本地运行日常智能体任务
Nemotron 3.5 Bolt 是什么？
Nemotron 3.5 Bolt 24GB 是 NVIDIA 推出的轻量化模型，专为在 24GB 显存的 RTX 和 DGX Spark 硬件上本地运行日常智能体任务而设计。它基于 Nemotron 3.5 Super VL 压缩而来（从 120B 总参 / 12B 活跃参降至 74B 总参 / 9B 活跃参），在 RTX Spark 上可达每秒 84 token 的生成速度，并同时支持文本与视觉理解。该模型的检查点、GGUF 文件以及推测解码草稿模型均已发布在 Hugging Face 平台。
产品详细介绍
在 24GB GPU 上本地运行日常智能体任务
Nemotron 3.5 Bolt 24GB 是 NVIDIA 推出的轻量化模型，专为在 24GB 显存的 RTX 和 DGX Spark 硬件上本地运行日常智能体任务而设计。它基于 Nemotron 3.5 Super VL 压缩而来（从 120B 总参 / 12B 活跃参降至 74B 总参 / 9B 活跃参），在 RTX Spark 上可达每秒 84 token 的生成速度，并同时支持文本与视觉理解。该模型的检查点、GGUF 文件以及推测解码草稿模型均已发布在 Hugging Face 平台。
定价方案
需要付费创始人评论
M
Maker创始人
大型 AI 模型令人印象深刻，但在不牺牲太多速度或能力的前提下于本地运行它们仍然是一项挑战。NVIDIA 正借助 Nemotron 3.5 Bolt 74B-A9B 24GB 来尝试攻克这一难题。
问题所在
在本地运行能力出众的 AI 智能体，通常意味着要在模型智能、速度和内存之间做出权衡。更大的模型难以与其他应用程序同时运行，而较小的模型在处理复杂任务时往往力不从心。
解决方案
Nemotron 3.5 Bolt 是一款开放权重的视觉语言模型，旨在将内存占用控制在 24GB 预算内，并在 NVIDIA RTX 与 DGX Spark 系统上本地运行日常智能体工作负载。
与众不同之处
NVIDIA 并未从头训练小型模型，而是对一个更大的模型进行压缩，并采用激进的 2 位量化技术，以在紧凑的内存预算内保留更多能力。此外，它还通过推测解码来加速生成。
你能获得：
• 一个 740 亿参数、激活参数 90 亿的模型
• 24GB 内存占用，可用于本地 AI 工作负载
• 在 NVIDIA 公布的 RTX Spark 基准测试中，速度约为每秒 84 个 token
• 面向网页浏览、工具调用与终端工作流等智能体任务而设计
• 开放权重的检查点，并提供可供进一步定制的版本
• NVIDIA 报告称，在内存占用相近的模型中，其在 PinchBench 中排名第一，在 WebArena 和 BrowseComp 中排名第二
适用人群
正在搭建本地 AI 智能体、尝试私有工作流、自动化研究流程，或运行编码与浏览智能体、希望无需将每项任务都送至云端的开发者。
立即试用：
查看 NVIDIA 官方公告，在 Hugging Face 获取模型，或参阅技术报告。
