bibibi.cc正在加载…
百度据报道正式开源文心5.5 Flash Base基座模型。
百度：文心5.5 Flash Base正式开源
PANews 11月5日消息，百度正式开源最新基座模型文心5.5 Flash Base。ERNIE 5.5 Flash Base采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。
原文链接：https://www.panewslab.com/zh/articles/01a1abb9-8790-7378-9687-c9b743be4e82
PANews于11月5日报道，百度正式开源文心5.5 Flash Base。
该模型采用MoE架构，总参数量为2800亿，每个Token激活140亿参数。
模型使用33.5万亿个Token完成预训练。
预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。
以下为辅助分析，与已报道事实分开展示；重要信息请进一步核实。
这是一个采用MoE架构的基座模型。报道中的参数量、训练数据规模和上下文长度，描述了模型的规模与可处理文本范围。
开源模型可能增加开发者可使用的模型供给，但实际影响还要看许可、性能和采用情况。
对新手而言，重点是它被报道为开放使用的基础模型，并支持很长的上下文。
正在加载事件时间线…