百度开源ERNIE 5.5 Flash Base:280B MoE仅激活14B,放出预训练终点权重

百度于11月5日开源ERNIE-5.5-Flash-Base:2800亿总参数、每token激活140亿的稀疏MoE预训练终点权重,训练约33.5T tokens,微调与推理支持约1M上下文;已上线HF/ModelScope,后训练版随后推出。

发生了什么

11月5日,百度正式发布并开源文心大模型预训练基座ERNIE-5.5-Flash-Base。官方博客与Hugging Face模型卡写明:这是一款稀疏混合专家(MoE)语言模型,总参数约2800亿,每个token激活约140亿;在约3.35万亿token上从零预训练,训练上下文最高约12.8万token,微调与推理可支持约100万token上下文。

关键在于放出的是预训练终点权重——未经中训练与后训练。百度将其定位为“后续训练的高效起点”,供社区自行做领域适配、指令微调与强化学习;后训练版ERNIE 5.5 Flash将随后推出。FP8与BF16 safetensors已上线Hugging Face与ModelScope,并联合SGLang、vLLM提供部署路径。

关键细节和数据

架构侧,模型共43层Transformer,隐层4096、注意力头64。注意力采用混合方案:约每七层一层用Multi-head Latent Attention(MLA)保留token级全上下文,其余层用Heavily Compressed Attention(HCA),把每128个token压成一条缓存后再与近期未压缩窗口一起做注意力;MLA层还叠加稀疏注意力(DSA),使核心注意力开销不随上下文线性膨胀。MoE侧除首层外采用Multi-Router Latent MoE:512个路由专家(top-10)加1个共享专家,专家在2048维潜空间运行以减半通信与算力。

训练与数据方面,官方强调仓库级代码、提交/PR轨迹与长文理解等“事后难补”的能力;优化器为Muon,训练使用FP8混合精度,并配套分布式Muon通信与FlashMask-4等内核。统一评测下,相对DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等同量级开源基座,ERNIE在MMLU(93.3)、MMLU-Pro(78.4)、HumanEval+(82.3)、LiveCodeBench(40.1)、RepoQA(91.7)等多类指标领先或居前;长文六项中多数仍具竞争力,官方称尽管多数层只看128倍压缩历史,六层MLA-DSA已足以撑住长上下文表现。

许可为ERNIE 5.5 Flash Base Model License Agreement v1.0(自定义许可)。结合百度此前对文心开源基座的通行说明与今日快讯摘要,商业使用对年收入不超过约5000万美元的主体在通知并标注“Powered by ERNIE”后可免费,并排除欧盟、英国与韩国等地区——具体条款以LICENSE全文为准。

为什么重要

开源阵营正把“可继续训练的高效基座”当成下一轮竞争:总参数够大、激活尽量小、KV缓存可控、长上下文可扩。ERNIE 5.5 Flash Base把混合注意力、多路由潜空间MoE、ECHO多步预测与mHC残差等改动捆在一起,叙事重点不是“又一个聊天模型”,而是让实验室与企业少付一遍大规模预训练的账单。

对中文与双语场景,放出预训练终点也意味着:团队可用自家数据与对齐策略塑形,而不是被后训练行为“锁死”。与同尺寸基座的横向对比,则为选型提供了可核对的数字底座。

影响和展望

短期看点是社区在领域微调与智能体训练上的真实吞吐,以及后训练版Flash何时上线。中期,若许可与部署栈(vLLM/SGLang)足够顺滑,280B-A14B有望成为又一个可自托管的中文友好稀疏基座;若地域与收入条款限制了部分跨国客户,则影响会更多落在国内与许可友好地区的研究与产品线。

需要提醒:基座模型本身不面向对话成品体验,榜单数字来自统一评测管线,落地仍取决于各团队的后训练质量与算力预算。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4421.html

赞 (0)
深度:OpenAI估值报1.25万亿美元却缩募,AI资本狂热开始降温
上一篇 2026年11月7日 上午9:07
METR评估:Anthropic AI研发约加速2倍,多数或来自AI辅助而非算力扩张
下一篇 2026年11月7日 下午3:07

相关推荐

发表回复

登录后才能评论