跳到正文
AIHOT ↗· Hacker News:AI 热帖·· 7 天前精选AI 评分80

Edge0 开源 Edge0-145B 与 Edge0-120B 端侧模型及推理工具链

Edge0 开源 145B 端侧模型,可在笔记本本地运行

AI 导读

Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。

推荐理由

Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。

来源:AIHOT · edge0.ai