1450亿参数大模型装进笔记本:Edge0开源端侧模型Edge0-145B,峰值内存约28GB、每秒生成80多个token

端侧AI团队Edge0开源了1450亿参数的Edge0-145B和Edge0-120B,并同步放出推理框架与部署工具。官方称这是首个参数规模过千亿的开源端侧模型,在48GB内存的笔记本上即可本地运行。

发生了什么

端侧AI公司Edge0近日在官方博客宣布,开源两款面向个人电脑的大模型:Edge0-145B和Edge0-120B,同时公开统一推理框架、部署工具和硬件指南,模型权重已上架Hugging Face。Edge0称,Edge0-145B是全球首个参数达到1450亿的开源端侧模型,目标是把接近前沿云端模型的编程、推理和智能体能力,直接搬到用户自己的电脑上。

这篇博客发布后很快登上Hacker News热门讨论。就在两个月前(9月10日),Edge0刚发布了面向手机的Edge0-35B,在iPhone 18 Pro Max上约占2.5GB内存、每秒生成37个以上token。

关键细节和数据

  • 内存与速度:官方给出的笔记本测试中,Edge0-145B峰值内存约28GB(另一处测量为29GB),解码速度超过每秒80个token;
  • 稀疏计算:1450亿总参数中,每个推理步骤只有约100亿参数真正参与计算;
  • 平台支持:首日支持macOS、Windows和Linux,覆盖苹果M系列芯片以及英伟达RTX 4090、RTX 5090、RTX Spark等平台;
  • 跑分(Edge0内部评测):DeepSWE 1.1得分64.6,高于Qwen3.8-Flash-Next的58.7和DeepSeek-V4-Flash-0731的54.4;GPQA-Diamond得分90.4,接近Claude-Opus-4.6(Max)的91.3;IFBench得分80.6;Terminal-Bench 2.1得分86.52;
  • 内存效率:六项基准平均分72.8,对比的Qwen3.8-Flash-Next平均71.7,但后者按标准4bit部署估计需约70GB内存,Edge0-145B约为其40%。

需要注意,以上对比大多来自Edge0自己的评测,官方表示完整评测设置和复现方法会随技术报告一起公布,外部复现结果还有待观察。

它是怎么塞进笔记本的

Edge0把思路概括为模型与推理引擎“一起设计”,分四层解决内存和数据搬运问题:

  • 架构上,让稀疏专家共享大矩阵:每64个专家共用两个大矩阵,每个专家只保留少量体现差异的参数,大幅减少需要存储和读取的权重;
  • 训练上,从第一天起就按端侧架构训练,而不是先训一个云端模型再压缩剪枝;
  • 加载上,把显存、内存和SSD做成流水线:常用的“热专家”常驻显存,约40GB的专家库放在系统内存按需调入,约48GB的词表数据留在SSD上按需读取;
  • 调度上,GPU计算已缓存的专家,CPU并行处理其余部分,再配合投机解码一次验证多个候选token,摊薄读权重的成本。

为什么重要

过去端侧模型普遍停留在100亿参数以下。Edge0在博客中举例,苹果Apple Intelligence的端侧基础模型约30亿参数,谷歌Gemini Nano为18亿和32.5亿两个版本。原因很简单:模型越大,越吃内存、带宽和电量。Edge0-145B如果能在第三方测试中站住脚,意味着“本地也能跑接近前沿水平的智能体”不再只是口号。

本地运行的好处是实打实的:不按token付云端API费用,代码和业务数据不出电脑,断网时核心能力仍可用。Edge0演示了模型在本地完成视频解说制作、在Blender里搭建曼哈顿城市场景、编写无人机避障寻物程序、在KiCad里从零设计PCB等长链条任务。

影响和展望

Edge0自己也承认边界:算力、散热和续航仍决定哪个模型能跑,低算力设备跑不动1450亿参数模型,跨设备长期记忆和需要实时信息的搜索仍要依赖云端。它把端云分工描述为从“云端优先”走向“端侧优先、云端补充”。

对行业来说,这次开源把端侧模型的讨论从“几十亿参数”一下推到了“千亿级”。接下来值得关注的是三件事:独立评测能否复现官方成绩;48GB内存的笔记本能否在长时间智能体任务里保持稳定;以及PC厂商和芯片厂商会不会把这类模型当作AI PC的新卖点。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4609.html

赞 (0)
深度:没有黄仁勋的英伟达——一场换帅风波如何牵动芯片管制、开源AI与算力融资
上一篇 2026年11月13日 上午9:07
研究发现AI聊天机器人会把购物者引向假冒网站:Perplexity约15%的回答出现高风险链接,ChatGPT约8%、Gemini约4%
下一篇 2026年11月13日 下午3:03

相关推荐

发表回复

登录后才能评论