端侧AI
-
微软Edge将Aion Instruct设为内置小模型并开放Prompt API源试验,2.3B权重已在Hugging Face开源
微软Edge团队在11月19日宣布三项更新:Aion Instruct作为开源权重模型在Hugging Face上全面提供,并替换Phi-4-mini,成为Edge内置的小语言模型;Prompt API进入源试验,开发者可在正式网站上调用;实验性的Decisions API则在Canary和Dev渠道提供开发者预览。
-
1450亿参数大模型装进笔记本:Edge0开源端侧模型Edge0-145B,峰值内存约28GB、每秒生成80多个token
端侧AI团队Edge0开源了1450亿参数的Edge0-145B和Edge0-120B,并同步放出推理框架与部署工具。官方称这是首个参数规模过千亿的开源端侧模型,在48GB内存的笔记本上即可本地运行。