发生了什么
端侧AI公司Edge0近日在官方博客宣布,开源两款面向个人电脑的大模型:Edge0-145B和Edge0-120B,同时公开统一推理框架、部署工具和硬件指南,模型权重已上架Hugging Face。Edge0称,Edge0-145B是全球首个参数达到1450亿的开源端侧模型,目标是把接近前沿云端模型的编程、推理和智能体能力,直接搬到用户自己的电脑上。
这篇博客发布后很快登上Hacker News热门讨论。就在两个月前(9月10日),Edge0刚发布了面向手机的Edge0-35B,在iPhone 18 Pro Max上约占2.5GB内存、每秒生成37个以上token。
关键细节和数据
- 内存与速度:官方给出的笔记本测试中,Edge0-145B峰值内存约28GB(另一处测量为29GB),解码速度超过每秒80个token;
- 稀疏计算:1450亿总参数中,每个推理步骤只有约100亿参数真正参与计算;
- 平台支持:首日支持macOS、Windows和Linux,覆盖苹果M系列芯片以及英伟达RTX 4090、RTX 5090、RTX Spark等平台;
- 跑分(Edge0内部评测):DeepSWE 1.1得分64.6,高于Qwen3.8-Flash-Next的58.7和DeepSeek-V4-Flash-0731的54.4;GPQA-Diamond得分90.4,接近Claude-Opus-4.6(Max)的91.3;IFBench得分80.6;Terminal-Bench 2.1得分86.52;
- 内存效率:六项基准平均分72.8,对比的Qwen3.8-Flash-Next平均71.7,但后者按标准4bit部署估计需约70GB内存,Edge0-145B约为其40%。
需要注意,以上对比大多来自Edge0自己的评测,官方表示完整评测设置和复现方法会随技术报告一起公布,外部复现结果还有待观察。
它是怎么塞进笔记本的
Edge0把思路概括为模型与推理引擎“一起设计”,分四层解决内存和数据搬运问题:
- 架构上,让稀疏专家共享大矩阵:每64个专家共用两个大矩阵,每个专家只保留少量体现差异的参数,大幅减少需要存储和读取的权重;
- 训练上,从第一天起就按端侧架构训练,而不是先训一个云端模型再压缩剪枝;
- 加载上,把显存、内存和SSD做成流水线:常用的“热专家”常驻显存,约40GB的专家库放在系统内存按需调入,约48GB的词表数据留在SSD上按需读取;
- 调度上,GPU计算已缓存的专家,CPU并行处理其余部分,再配合投机解码一次验证多个候选token,摊薄读权重的成本。
为什么重要
过去端侧模型普遍停留在100亿参数以下。Edge0在博客中举例,苹果Apple Intelligence的端侧基础模型约30亿参数,谷歌Gemini Nano为18亿和32.5亿两个版本。原因很简单:模型越大,越吃内存、带宽和电量。Edge0-145B如果能在第三方测试中站住脚,意味着“本地也能跑接近前沿水平的智能体”不再只是口号。
本地运行的好处是实打实的:不按token付云端API费用,代码和业务数据不出电脑,断网时核心能力仍可用。Edge0演示了模型在本地完成视频解说制作、在Blender里搭建曼哈顿城市场景、编写无人机避障寻物程序、在KiCad里从零设计PCB等长链条任务。
影响和展望
Edge0自己也承认边界:算力、散热和续航仍决定哪个模型能跑,低算力设备跑不动1450亿参数模型,跨设备长期记忆和需要实时信息的搜索仍要依赖云端。它把端云分工描述为从“云端优先”走向“端侧优先、云端补充”。
对行业来说,这次开源把端侧模型的讨论从“几十亿参数”一下推到了“千亿级”。接下来值得关注的是三件事:独立评测能否复现官方成绩;48GB内存的笔记本能否在长时间智能体任务里保持稳定;以及PC厂商和芯片厂商会不会把这类模型当作AI PC的新卖点。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4609.html