Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
NVIDIA 在 SC26 发布 DGX Spark HPC Developer Kit,以四台 DGX Spark 组成环形互联的多节点集群,面向研究人员、学者和开发者运行科学计算、AI 模型与智能体。
推荐理由:四节点配置、集群互联方式和本地部署能力被完整披露,为科研团队评估桌面级多节点工作流提供了具体依据。
NVIDIA 在韩国 COEX 举办 AI Day Seoul,连续两天吸引超过 2,000 名参与者,聚焦 physical AI 与 AI agents。大会展示企业如何构建自主可控的智能体,并设置 OpenShell 智能体训练、推理部署、Isaac 机器人工作流等工作坊;超过 500 名开发者参加培训与认证考试。
Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。
推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。
NVIDIA开源工具正帮助研究人员构建下一代6G网络,将仿真、AI训练与真实无线系统实验连接起来。过去一年,NVIDIA AI Aerial与NVIDIA Sionna的全球开发者采用量增长10x,开源5G/6G工具下载量超过1 million。机器人实验将任务完成时间最多缩短52.6%,部分5G网络仿真由约3小时缩至10-20分钟。
Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。
推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。
NVIDIA 为 RTX Spark Windows 笔记本生态带来 Nemotron 3.5 Transcribe、GPU 资源管理、LFM3 支持及多项游戏更新。
推荐理由:围绕本地推理、语音模型、智能体资源调度与游戏图形更新,材料集中呈现 RTX Spark 生态的新增能力与适用场景。
Google DeepMind与GovTech Singapore合作微调轻量级Gemma模型,用于在设备端实时检测诈骗;诈骗占新加坡已报告犯罪一半以上,自2019年以来损失超过S$4 billion,当前最高占总损失的80%。模型采用两阶段流程分析消息和对话上下文,发现操纵意图后直接在设备上警示;用户同意后,Google与新加坡政府均无法通过部署访问对话。