阶跃 Step 5 Preview 开放模型权重，支持 100 万 token 上下文窗口
阶跃 StepFun 已开放 Step 5 Preview 的 BF16 和 FP8 模型权重，并发布技术博客及开源开发工具。该模型面向长程智能体任务，采用稀疏 MoE 架构，总参数量为 6000 亿，每个 token 激活 270 亿参数；支持 100 万 token 上下文窗口以及文本、图像输入。模型权重已上线 Hugging Face 和 ModelScope，可通过 vLLM、SGLang、Transformers 等工具部署。技术博客介绍了面向长程任务的架构与训练优化，包括 Sparse GQA、更稳定的训练方法，以及将上下文压缩纳入训练的强化学习。
本文来源：IT之家，仅供学习参考，版权归原作者所有。