跳到正文
AI 资讯
今天11月19日周四2 条
  1. Hugging Face Blog61

    Dharma-AI研究共享GPU集群上的大语言模型微调时长预测

    Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。

    推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。

  2. Hugging Face Blog64

    Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

    作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

    推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

11月18日周三
  1. NVIDIA Blog72

    NVIDIA RTX Spark 紧凑型桌面设备由 ASUS、Dell 和 MSI 推出

    NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。

    推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。

11月14日周六
11月13日周五
  1. Hugging Face Blog74

    llama.cpp 与 ggml 发布 v1.0.0 库版本

    llama.cpp 项目发布 llama.cpp v1.0.0 和 ggml v1.0.0 库版本,并为主要破坏性变更启用明确的 MAJOR 版本升级规则。新版本覆盖 Linux、macOS、Windows、Android 和 iOS 等分发渠道。llama.cpp 目前支持 150 多种架构变体及主流推测解码方法,ggml 则通过可动态加载的后端适配多种硬件。

    推荐理由:项目明确了公开 API 与 ABI 的主版本升级边界,为下游依赖和多平台集成的兼容性管理提供了清晰依据。

11月12日周四
11月11日周三
11月10日周二
  1. Hugging Face Blog70

    Hugging Face 决策模型接口与生态实践

    Hugging Face 介绍决策模型如何以状态、问题和预定义答案为输入,直接返回结构化决策及概率,而不生成响应文本。其基础接口包含 Choice、Score 和 Noul 三种决策原语,并提供置信度计算方式。

    推荐理由:文章系统梳理决策模型的接口与概率计算方式,并展示其在 Transformers、llama.cpp 和 Hub 中的接入方式。

11月6日周五
  1. Hugging Face Blog37

    Hugging Face 与 Liva AI 将埃及和尼日利亚英语口音加入 Open ASR Leaderboard

    Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 增加埃及和尼日利亚英语口音的两组私有数据,时长分别为 1.34 小时和 1.55 小时,均采用自然对话风格。排行榜将按 Kachru 三大圈细分美国与非美国口音,并区分 Inner Circle 与 Outer & Expanding Circles,以提升 ASR 评测的代表性和可信度。

11月5日周四
  1. Hugging Face Blog74

    Gradium 发布可在端侧运行的 Phonon 语音合成模型

    Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。

    推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。

10月29日周四
  1. Mistral AI82

    Mistral Large 4(Le Chonk)发布开放权重

    Mistral AI 发布 Mistral Large 4(Le Chonk)开放权重,这是一款 1-trillion-parameter 原生多模态模型,重点增强编码与防御性网络安全能力。

    推荐理由:文章汇总模型在编码、终端任务和网络安全评测中的数据,并给出推理模式与部署入口,便于比较实际能力边界。

10月5日周一