开源基座
-
百度开源ERNIE 5.5 Flash Base:280B MoE仅激活14B,放出预训练终点权重
百度于11月5日开源ERNIE-5.5-Flash-Base:2800亿总参数、每token激活140亿的稀疏MoE预训练终点权重,训练约33.5T tokens,微调与推理支持约1M上下文;已上线HF/ModelScope,后训练版随后推出。
百度于11月5日开源ERNIE-5.5-Flash-Base:2800亿总参数、每token激活140亿的稀疏MoE预训练终点权重,训练约33.5T tokens,微调与推理支持约1M上下文;已上线HF/ModelScope,后训练版随后推出。