Edge0 开源 Edge0-145B 与 Edge0-120B 端侧模型及推理工具链
Edge0 开源 145B 端侧模型,可在笔记本本地运行
AI 导读
Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。
推荐理由
Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。
来源:AIHOT · edge0.ai