Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
NVIDIA 在 SC26 发布 DGX Spark HPC Developer Kit,以四台 DGX Spark 组成环形互联的多节点集群,面向研究人员、学者和开发者运行科学计算、AI 模型与智能体。
推荐理由:四节点配置、集群互联方式和本地部署能力被完整披露,为科研团队评估桌面级多节点工作流提供了具体依据。
Sam Altman 表示,希望每个人都能为个人电脑购买大量 RAM,并认为家庭端改造是值得的,同时呼吁在内存供应紧张时共享内存。他还称,DRAM 价格近月可能上涨 5 倍、7 倍,而 OpenAI 曾受到内存、机架组装和数据中心容量等因素制约;此前相关言论曾引发争议,他称此前表述被断章取义。
NVIDIA 在韩国 COEX 举办 AI Day Seoul,连续两天吸引超过 2,000 名参与者,聚焦 physical AI 与 AI agents。大会展示企业如何构建自主可控的智能体,并设置 OpenShell 智能体训练、推理部署、Isaac 机器人工作流等工作坊;超过 500 名开发者参加培训与认证考试。
Hugging Face CEO Clément Delangue 与 ggerganov 宣布 llama.cpp v1.0.0 发布,这是该本地 AI 模型运行库的首个稳定大版本。作者称用户可在手机、笔记本和工作站上本地运行模型,数据无需发送给他人,并承诺支持不同硬件、平台和模型类型。
Apple 开售 Apple HomeView,售价 299 美元,提供银色、星光色、玫瑰粉色和深空灰色版本,并通过墙面安装版本面向家庭场景。
Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。
推荐理由:Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。
Google 智能眼镜开启预购,用户可在 https://glasses.google 下单,产品将于 12 月 10 日发货。首批用户可前往部分 Warby Parker、Gentle Monster 和 Google 门店试戴体验。
Nvidia CEO Jensen Huang 因涉及中国情报人员的争议辞去职务,相关报道将焦点指向 Megaspeed、Blackwell 芯片获取渠道和美国的 AI 芯片出口管制。访谈认为,接近 Huang 可能为了获取工程信息、了解或影响美国政策,而中国同时在推动华为 AI 芯片和国产供应链,并将开源模型广泛用于制造业以缩小与美国的前沿差距。
推荐理由:从芯片获取、政策影响与产业扩散三个层面分析争议,并讨论 Nvidia 领导层变动对美中 AI 竞争的影响。
Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。
推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。
Kora Systems 展示面向 AI 时代的 Linux 桌面操作系统 Kora,将模型与 AI 智能体嵌入桌面并支持跨应用操作,拟于 2027 年免费推出。
Meta宣布将Muse AI智能体带到Apple Watch和Android Wear OS,用户可直接通过语音通话、短信或听写与Meta的AI助手交互。此次扩展发生在Muse推出专用iPad应用仅一个月后;该智能体还能管理邮件、会议和账单,并处理预订、购物及设定目标等任务。
Google 在 Google AI Edge Gallery 中推出端侧 ASR 与 TTS 能力。这两项能力可与 Gemini Nano、Gemma 4 等端侧 SLM 组合,组成完全离线的语音交互管线。
Zyphra 发布开源 TTS 模型 ZONOS3-Mini,采用稀疏 MoE 架构,拥有 100 million 激活参数和 800 million 总参数,并以 Apache 2.0 许可发布。
推荐理由:模型以较小参数规模实现端侧实时语音克隆,并提供浏览器及多种推理运行时,方便开发者评估部署路径。
Google Research 的 AI 可利用普通智能手表的心率与运动传感器检测高血压迹象,无需用血压袖带校准。相关研究发表于 Nature,近50万小时传感器数据用于训练神经网络;在196人研究中,识别出65.8%的高血压患者,标准诊室测量为55.3%。该方法已并入 Google Health 应用的高血压趋势功能,但仍属研究项目,不能替代诊断。
Underdog 发布一款采用 Woof 语音模型的浏览器游戏,演示 32MB 模型如何离线运行在多数设备上。模型参数规模为 31 million parameters,并面向所有人开放下载;用户可在打字机上输入文字并由模型朗读,也可调节音乐生成器。
NVIDIA开源工具正帮助研究人员构建下一代6G网络,将仿真、AI训练与真实无线系统实验连接起来。过去一年,NVIDIA AI Aerial与NVIDIA Sionna的全球开发者采用量增长10x,开源5G/6G工具下载量超过1 million。机器人实验将任务完成时间最多缩短52.6%,部分5G网络仿真由约3小时缩至10-20分钟。
Aina 发布售价 $399 的 AI ring,配备屏幕、摇杆和麦克风,可与 AI 智能体对话、记录笔记并接听电话。它还能通过 Wispr Flow 或 Aina 自研听写引擎在 Mac 上口述,控制音乐和 Apple TV。周四开放早鸟预订,早鸟价 $399,之后售价 $499,计划于 2027年1月发货。
PFN 公开翻译特化型 LLM PLaMo 3 Translate 的模型权重,提供 0.8B、2B、8B、31B 四种尺寸。模型支持在智能手机、笔记本和边缘设备上离线翻译 53 种语言,并允许通过术语集指定专有名词及日语敬体、常体。
Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。
推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。
Nothing CEO Carl Pei 表示,公司的首款“AI-native product”将于 12 月出货,但具体形态仍未公开。Pei 称它没有新屏幕,也不是 app,而是一款具有 Nothing 产品风格的生产力工具;公司还计划推出 AI 智能眼镜和集成 AI 的耳机。
Apple在iOS 27.3和watchOS 27.3开发者测试版中测试四项Audio Intelligence功能,Apple Watch Series 12可识别重要声音、辨认歌曲、回顾最近15秒对话并生成Siri Recaps。
作者 Victoria Song 评测了持续录音并用 AI 转写、总结对话的 Amazon Bee Frontier,称其在 19 个月使用中能识别电视对白,也会出现人物、事实和情绪误判。作者曾佩戴设备参加治疗、年度体检和涉及家庭创伤的谈话,设备生成的记录与她的记忆存在差异。其 Grow 功能还会根据对话和提醒事项生成个人建议,作者认为这些判断可能引发反刍、焦虑和对自身记忆的不信任。
苹果面向 iPhone 发布 iOS 27.3 开发者预览版,国行 Apple 智能与 Siri 随该版本上线,iPhone 15 Pro 及更新机型可用。首批功能包括实时翻译、写作工具、视觉智能和照片消除工具,部分体验接入千问,用户登录千问账户或通过“通过 Apple 登录”即可在系统内调用。
推荐理由:实机信息展示了国行 Apple 智能的开放范围与首批功能,可据此了解其在系统内的调用方式和设备要求。
Apple 开始通过 watchOS 27.3 开发者测试版推送 Audio Intelligence 功能,让 Siri 使用 Apple Watch 麦克风处理环境音频。
Simon Willison 在笔记本电脑上运行 17GB 的 Qwen 3.8 27B,测试其直接解读神经网络原始权重的能力。该模型成功识别 Pac-Man、Pong 和 Breakout,但未识别 Freeway,各次推理耗时约 46 分钟至 1 小时 4 分钟,并使用 43,506 个 reasoning tokens 完成 Pac-Man 测试。
Apple 通过硬件销售、AI 功能订阅和第三方应用分成承接 AI 需求,同时避免按竞争对手规模投入基础设施。其上季度资本开支为 $2.2 billion,低于 Amazon 的 $77.3 billion 和 Alphabet 的 $51.4 billion。
Apple Watch 的 AI 音频智能功能开始面向开发者 beta 测试,首批随 iOS 27.3 更新提供,涵盖声音识别、歌曲识别、Live Rewind 和 Siri Recaps。
Google Suncatcher 原型卫星已上线并与地面通信,可预装 Google DeepMind 的 Gemma 4 执行推理任务。卫星搭载 4 个 TPU,但受供电限制,每次只能运行 1 个约 20 分钟;后续测试将评估芯片在热应力和太空辐射环境下的表现。
作者使用 Claude Code 改造 $50 的 Waveshare ESP32-S3 1.75C,使其连接 Meta Muse,并加入对话历史、语音播报、远程拍照和 Tamagotchi 式小游戏等功能。
OpenAI CEO Sam Altman 表示,在 DRAM 供应受限的背景下,与其让有限内存闲置在个人电脑中,不如集中到数据中心以提高利用率。他提到,个人电脑中的 RAM 可能只有 5% 的时间在使用;Samsung 和 SK Hynix 已与云服务商及 OpenAI 的 Stargate 等项目签订长期协议,预订了未来数年大量 RAM 产能,这也推高了笔记本电脑和手机等设备的价格。
Google 的 Project Suncatcher 卫星已从太空生成并传输首个 AI 响应。卫星成功启动 TPU,并运行 Gemma 4 模型,根据太空主题提示词生成了一首俳句;Google 还测试了其他空间主题打油诗和遥测提示,后续将在轨评估 TPU 的热应力与辐射暴露表现,目标是让 TPUs 稳定执行太空工作负载。
NVIDIA 为 RTX Spark Windows 笔记本生态带来 Nemotron 3.5 Transcribe、GPU 资源管理、LFM3 支持及多项游戏更新。
推荐理由:围绕本地推理、语音模型、智能体资源调度与游戏图形更新,材料集中呈现 RTX Spark 生态的新增能力与适用场景。
Apple 发布搭载 M6 芯片的 14 英寸 MacBook Pro,配备 12 核 CPU、12 核 GPU 和双 16 核 Neural Engine,支持本地运行 LLM。M6 相比 M5 提供最高 30% 的图形性能和最高 25% 的 AI 工作负载性能提升,产品最长续航达 24 小时。设备将于 10 月 28 日开始预订,11 月 6 日起供货,起售价 $1,999。
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF,2-bit 版体积缩小 45%,保留 91.5% top 1 精度,可在 150GB 内存上本地运行。1-bit 版精度约为 89.9%,4-bit UD-Q4_K_XL 达到 98.0%,作者还提供了 Hugging Face 权重链接与本地运行指南。
Google DeepMind与GovTech Singapore合作微调轻量级Gemma模型,用于在设备端实时检测诈骗;诈骗占新加坡已报告犯罪一半以上,自2019年以来损失超过S$4 billion,当前最高占总损失的80%。模型采用两阶段流程分析消息和对话上下文,发现操纵意图后直接在设备上警示;用户同意后,Google与新加坡政府均无法通过部署访问对话。