Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
技术方向
直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。
9 条精选近 30 天 9 条共收录 36 条
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
NVIDIA 在 SC26 发布 DGX Spark HPC Developer Kit,以四台 DGX Spark 组成环形互联的多节点集群,面向研究人员、学者和开发者运行科学计算、AI 模型与智能体。
推荐理由:四节点配置、集群互联方式和本地部署能力被完整披露,为科研团队评估桌面级多节点工作流提供了具体依据。
Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。
推荐理由:Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。
Nvidia CEO Jensen Huang 因涉及中国情报人员的争议辞去职务,相关报道将焦点指向 Megaspeed、Blackwell 芯片获取渠道和美国的 AI 芯片出口管制。访谈认为,接近 Huang 可能为了获取工程信息、了解或影响美国政策,而中国同时在推动华为 AI 芯片和国产供应链,并将开源模型广泛用于制造业以缩小与美国的前沿差距。
推荐理由:从芯片获取、政策影响与产业扩散三个层面分析争议,并讨论 Nvidia 领导层变动对美中 AI 竞争的影响。
Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。
推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。
Zyphra 发布开源 TTS 模型 ZONOS3-Mini,采用稀疏 MoE 架构,拥有 100 million 激活参数和 800 million 总参数,并以 Apache 2.0 许可发布。
推荐理由:模型以较小参数规模实现端侧实时语音克隆,并提供浏览器及多种推理运行时,方便开发者评估部署路径。
Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。
推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。
苹果面向 iPhone 发布 iOS 27.3 开发者预览版,国行 Apple 智能与 Siri 随该版本上线,iPhone 15 Pro 及更新机型可用。首批功能包括实时翻译、写作工具、视觉智能和照片消除工具,部分体验接入千问,用户登录千问账户或通过“通过 Apple 登录”即可在系统内调用。
推荐理由:实机信息展示了国行 Apple 智能的开放范围与首批功能,可据此了解其在系统内的调用方式和设备要求。
NVIDIA 为 RTX Spark Windows 笔记本生态带来 Nemotron 3.5 Transcribe、GPU 资源管理、LFM3 支持及多项游戏更新。
推荐理由:围绕本地推理、语音模型、智能体资源调度与游戏图形更新,材料集中呈现 RTX Spark 生态的新增能力与适用场景。