Edge0
-
1450亿参数大模型装进笔记本:Edge0开源端侧模型Edge0-145B,峰值内存约28GB、每秒生成80多个token
端侧AI团队Edge0开源了1450亿参数的Edge0-145B和Edge0-120B,并同步放出推理框架与部署工具。官方称这是首个参数规模过千亿的开源端侧模型,在48GB内存的笔记本上即可本地运行。
端侧AI团队Edge0开源了1450亿参数的Edge0-145B和Edge0-120B,并同步放出推理框架与部署工具。官方称这是首个参数规模过千亿的开源端侧模型,在48GB内存的笔记本上即可本地运行。