MoE
-
腾讯混元发布Hy4 flash:224B总参、每token只激活12B,日常办公任务成本降到旗舰版的二十分之一
腾讯给Hy4家族补上了“便宜好用”的一档:Hy4 flash在日常办公任务上接近旗舰效果,单任务成本却只有零头;代价是长程编程等硬任务的能力明显缩水。
-
1450亿参数大模型装进笔记本:Edge0开源端侧模型Edge0-145B,峰值内存约28GB、每秒生成80多个token
端侧AI团队Edge0开源了1450亿参数的Edge0-145B和Edge0-120B,并同步放出推理框架与部署工具。官方称这是首个参数规模过千亿的开源端侧模型,在48GB内存的笔记本上即可本地运行。
-
百度发布ERNIE 5.5 Flash Preview:280B总参数只激活14B、支持百万上下文,权重11月25日前开源
百度在开源ERNIE 5.5 Flash基座模型后不到一周,又推出了首个后训练版本ERNIE 5.5 Flash Preview:280B总参数、14B激活、百万上下文,API已上线千帆,权重将在11月25日前开源。官方坦言这仍是中间版本。
-
美团开源1.6万亿参数LongCat-2.5:MIT协议可商用,W4A4量化专为国产算力优化
美团在发布一周后正式开源LongCat-2.5。这是一款面向长程智能体任务的原生多模态MoE模型,总参数1.6万亿、每token激活约480亿,支持一百万token上下文,以MIT协议开放商用与二次训练,并针对国产AI加速器做了W4A4量化与部署优化。
-
百度开源ERNIE 5.5 Flash Base:280B MoE仅激活14B,放出预训练终点权重
百度于11月5日开源ERNIE-5.5-Flash-Base:2800亿总参数、每token激活140亿的稀疏MoE预训练终点权重,训练约33.5T tokens,微调与推理支持约1M上下文;已上线HF/ModelScope,后训练版随后推出。
-
Thinking Machines发布Inkling 2 Small:594B MoE仅激活17B,下周拟开源权重
Thinking Machines Lab于11月5日发布Inkling 2 Small:594B总参数、17B激活的稀疏MoE,支持图像输入与可变推理力度。Artificial Analysis Intelligence Index约31分,先在Tinker上线,拟下周开源权重。