Edge0 开源 Edge0-145B 与 Edge0-120B 端侧模型及推理工具链
Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。
推荐理由:Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。
Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。
推荐理由:Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。
Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。
推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。
Zyphra 发布开源 TTS 模型 ZONOS3-Mini,采用稀疏 MoE 架构,拥有 100 million 激活参数和 800 million 总参数,并以 Apache 2.0 许可发布。
推荐理由:模型以较小参数规模实现端侧实时语音克隆,并提供浏览器及多种推理运行时,方便开发者评估部署路径。
Underdog 发布一款采用 Woof 语音模型的浏览器游戏,演示 32MB 模型如何离线运行在多数设备上。模型参数规模为 31 million parameters,并面向所有人开放下载;用户可在打字机上输入文字并由模型朗读,也可调节音乐生成器。
PFN 公开翻译特化型 LLM PLaMo 3 Translate 的模型权重,提供 0.8B、2B、8B、31B 四种尺寸。模型支持在智能手机、笔记本和边缘设备上离线翻译 53 种语言,并允许通过术语集指定专有名词及日语敬体、常体。
Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。
推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。