跳到正文
AI 资讯
今天11月19日周四1 条
  1. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月17日周二
11月16日周一
11月11日周三
  1. Hugging Face Blog63

    Tether AI Research 发布 BotPsy 端侧智能体模型

    Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。

    推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。

11月7日周六
  1. NVIDIA Blog40

    NVIDIA开源工具如何助力研究人员构建下一代6G网络

    NVIDIA开源工具正帮助研究人员构建下一代6G网络,将仿真、AI训练与真实无线系统实验连接起来。过去一年,NVIDIA AI Aerial与NVIDIA Sionna的全球开发者采用量增长10x,开源5G/6G工具下载量超过1 million。机器人实验将任务完成时间最多缩短52.6%,部分5G网络仿真由约3小时缩至10-20分钟。

11月5日周四
  1. Hugging Face Blog74

    Gradium 发布可在端侧运行的 Phonon 语音合成模型

    Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。

    推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。

10月28日周三
10月14日周三
  1. Google DeepMind41

    Google DeepMind与GovTech Singapore合作微调Gemma模型检测诈骗

    Google DeepMind与GovTech Singapore合作微调轻量级Gemma模型,用于在设备端实时检测诈骗;诈骗占新加坡已报告犯罪一半以上,自2019年以来损失超过S$4 billion,当前最高占总损失的80%。模型采用两阶段流程分析消息和对话上下文,发现操纵意图后直接在设备上警示;用户同意后,Google与新加坡政府均无法通过部署访问对话。