内容摘要阶跃星辰开源Step 5 Preview权重和推理代码,称其支持100万Token上下文。
正文
阶跃Step 5开源600B权重:92层深架构,百万Token索引开销降至1/8
动察 Beating AI 快讯,阶跃星辰开源 Step 5 Preview 模型权重,FP8 和 BF16 版本已上线 Hugging Face、ModelScope,配套推理代码也同步公开。
Step 5 Preview 总参数 6000 亿,每次生成仅激活约 270 亿参数,支持 100 万 Token 上下文。新公开的技术博客披露,模型采用 92 层「窄而深」架构,让信息经过更多层处理,以支持复杂任务中的多步推理。它还引入 Sparse GQA,将相邻 8 个 Token 合并索引,使索引和 Top-k 筛选开销降至逐 Token 索引方案的 1/8。强化学习阶段,团队把上下文压缩也纳入训练,让 Agent 学会在任务过长时整理进度,再接着执行。
模型采用自定义的 StepFun Model License 1.0,允许一般商业使用,但手机、汽车等硬件厂商若将模型能力集成进商业产品,必须另外签署许可协议。经营 MaaS(模型即服务)业务,且自身及关联公司连续 12 个月总营收超过 2000 万美元的企业,商用时也需要单独取得许可。
原文链接:https://m.theblockbeats.info/flash/371938
AI 辅助解读
以下为辅助分析,与已报道事实分开展示;重要信息请进一步核实。
这是一个公开模型权重和推理代码的消息。模型并非每次生成都使用全部6000亿参数,而是约激活270亿参数;其宣称可处理最长100万Token的上下文。Sparse GQA通过把相邻8个Token合并索引,减少索引和筛选开销。模型可以一般商用,但部分硬件厂商和符合营收条件的MaaS企业需要额外许可。
对读者的影响
权重和推理代码公开后,开发者可以尝试部署和研究该模型;百万Token上下文、稀疏索引设计及商业许可限制,分别关系到长文本处理、推理开销和商业使用条件。
新手可重点区分“总参数6000亿”和“每次生成激活约270亿参数”,并在部署或商用前核对模型文件、运行要求和正式许可条款。
风险与未知
- 当前证据仅为资讯快讯,未提供Hugging Face、ModelScope页面或技术博客正文供核验。
- 模型性能、实际推理成本及100万Token上下文能力尚无第三方验证信息。
- StepFun Model License 1.0的完整条款、额外许可条件及费用未在证据中说明。