AI工具导航

Step 5 Preview

600B 开放权重,专为长时间运行的智能体训练

Step 5 Preview 是什么?

Step 5 Preview 是 StepFun 推出的开源权重 MoE 大模型,总参数量达 600B、每个 token 激活 27B,并支持百万级超长上下文。它专为编码、金融研究和长时间运行的智能体任务而训练,同时兼容 vLLM、SGLang 和 Transformers 等主流部署框架,便于开发者灵活集成与落地。

产品详细介绍

600B 开放权重,专为长时间运行的智能体训练

Step 5 Preview 是 StepFun 推出的开源权重 MoE 大模型,总参数量达 600B、每个 token 激活 27B,并支持百万级超长上下文。它专为编码、金融研究和长时间运行的智能体任务而训练,同时兼容 vLLM、SGLang 和 Transformers 等主流部署框架,便于开发者灵活集成与落地。

定价方案

需要付费
官网查看
定制方案
  • ✓

    暂未采集到具体套餐,价格以官网为准

创始人评论

M
Maker创始人

大家好!

StepFun 公布了 Step 5 Preview 的模型权重。此前该模型已可通过 API 调用,现在这个 600B 的 MoE 模型已上传至 Hugging Face。每个 token 仅激活 270 亿参数,上下文窗口达 100 万 token。

他们的技术博客详细介绍了针对长时间运行智能体任务的训练方法。他们采用了 92 层 Transformer 结构,对超长上下文使用稀疏注意力,甚至将上下文压缩纳入了强化学习训练中,让智能体在空间不足时学会保留哪些内容。

在一次测试中,他们给了它 24 小时来优化一个 H100 GPU 内核。其最佳成绩达到了 508 TFLOPS,而在 StepFun 的测试中 Opus 5 为 493 TFLOPS。

他们还让它玩了超过 3000 回合、消耗 600 万 token 的《精灵宝可梦 红》。获得了三枚道馆徽章,但游戏进程才走了大约三分之一!

FP8、BF16 和 NVFP4 格式的权重已开放下载,并附带 vLLM 和 SGLang 的部署指南。