跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。

9 条精选近 30 天 9 条共收录 36 条

更新

端侧 AI的精选

今天11月19日周四第 1–9 条
  1. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月17日周二
11月13日周五
  1. AIHOT80

    Edge0 开源 Edge0-145B 与 Edge0-120B 端侧模型及推理工具链

    Edge0 开源 Edge0-145B 和 Edge0-120B,并发布统一推理框架与部署工具。Edge0-145B 可在兼容笔记本本地运行,报告峰值内存 29GB、解码速度 80+ tokens/s、提示词处理速度 1,100+ tokens/s,并支持 128K–256K 上下文。

    推荐理由:Edge0 同时开源模型、推理框架与部署工具,并给出内存、速度和基准数据,便于开发者复现及评估端侧方案。

  2. The Verge · AI76

    Jensen Huang 辞去 Nvidia CEO 职务,争议指向美中 AI 芯片与出口管制

    Nvidia CEO Jensen Huang 因涉及中国情报人员的争议辞去职务,相关报道将焦点指向 Megaspeed、Blackwell 芯片获取渠道和美国的 AI 芯片出口管制。访谈认为,接近 Huang 可能为了获取工程信息、了解或影响美国政策,而中国同时在推动华为 AI 芯片和国产供应链,并将开源模型广泛用于制造业以缩小与美国的前沿差距。

    推荐理由:从芯片获取、政策影响与产业扩散三个层面分析争议,并讨论 Nvidia 领导层变动对美中 AI 竞争的影响。

11月11日周三
  1. Hugging Face Blog63

    Tether AI Research 发布 BotPsy 端侧智能体模型

    Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。

    推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。

11月10日周二
11月5日周四
  1. Hugging Face Blog74

    Gradium 发布可在端侧运行的 Phonon 语音合成模型

    Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。

    推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。

11月4日周三
  1. AIHOT78

    国行 Apple 智能与 Siri 随 iOS 27.3 开发者预览版上线

    苹果面向 iPhone 发布 iOS 27.3 开发者预览版,国行 Apple 智能与 Siri 随该版本上线,iPhone 15 Pro 及更新机型可用。首批功能包括实时翻译、写作工具、视觉智能和照片消除工具,部分体验接入千问,用户登录千问账户或通过“通过 Apple 登录”即可在系统内调用。

    推荐理由:实机信息展示了国行 Apple 智能的开放范围与首批功能,可据此了解其在系统内的调用方式和设备要求。

10月28日周三