Dharma-AI研究共享GPU集群上的大语言模型微调时长预测
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由:文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
NVIDIA RTX Spark 紧凑型桌面设备现已由 ASUS、Dell 和 MSI 上市,配备 20 核 Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,可本地运行 120B 参数大语言模型。
推荐理由:文章给出了新桌面设备的配置、上市品牌与本地 AI 工作流,便于读者了解桌面端智能体的硬件能力和软件生态。
AWS 演示了如何在 Amazon SageMaker JumpStart 部署 OpenTSLM-Flamingo,并通过 TimeNet 加载 ARFBench 数据进行领域微调。
Hugging Face 教程演示如何使用 SimReady Central 的 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐资产,在 Isaac Sim 6.2 中构建抓取放置仿真。
llama.cpp 项目发布 llama.cpp v1.0.0 和 ggml v1.0.0 库版本,并为主要破坏性变更启用明确的 MAJOR 版本升级规则。新版本覆盖 Linux、macOS、Windows、Android 和 iOS 等分发渠道。llama.cpp 目前支持 150 多种架构变体及主流推测解码方法,ggml 则通过可动态加载的后端适配多种硬件。
推荐理由:项目明确了公开 API 与 ABI 的主版本升级边界,为下游依赖和多平台集成的兼容性管理提供了清晰依据。
Hugging Face 提供 TRELLIS.2 3D生成模型的 LoRA 微调脚本与容器,可通过 Hugging Face Jobs 或本地 Docker 运行。
推荐理由:教程完整拆解了 TRELLIS.2 的 LoRA 微调流程,并提供可在 Hugging Face Jobs 或本地 Docker 运行的脚本与容器。
Sentence Transformers 可通过 pooling-aware training 训练模型在 token 向量合并后保留检索信息,文章给出从层级聚类、损失包装到训练和评估的完整示例。
Hugging Face 介绍决策模型如何以状态、问题和预定义答案为输入,直接返回结构化决策及概率,而不生成响应文本。其基础接口包含 Choice、Score 和 Noul 三种决策原语,并提供置信度计算方式。
推荐理由:文章系统梳理决策模型的接口与概率计算方式,并展示其在 Transformers、llama.cpp 和 Hub 中的接入方式。
Hugging Face 现支持将组织与 Google Cloud 账户关联,让 Hub 用量计入现有 Google Cloud 账单。Google Cloud Marketplace 订阅覆盖 Team 和 Enterprise 套餐、Jobs 等按量算力及额外存储,并沿用既有采购流程。
Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 增加埃及和尼日利亚英语口音的两组私有数据,时长分别为 1.34 小时和 1.55 小时,均采用自然对话风格。排行榜将按 Kachru 三大圈细分美国与非美国口音,并区分 Inner Circle 与 Outer & Expanding Circles,以提升 ASR 评测的代表性和可信度。
Gradium 发布 Phonon 端侧文本转语音模型,可在无服务器、无网络条件下生成语音,并开放模型权重。Phonon 31m 采用 Apache 2.0 许可,支持英语;另一个 40m 版本覆盖英语、法语、德语、西班牙语和葡萄牙语。
推荐理由:Phonon提供了离线运行、多语言支持和公开权重,榜单成绩与部署方式可供开发者评估实际采用价值。
Mistral AI 发布 Mistral Large 4(Le Chonk)开放权重,这是一款 1-trillion-parameter 原生多模态模型,重点增强编码与防御性网络安全能力。
推荐理由:文章汇总模型在编码、终端任务和网络安全评测中的数据,并给出推理模式与部署入口,便于比较实际能力边界。
GitHub 发布 ReviewBench,一个用于评估 AI 代码审查智能体的开放基准,包含 219 个来自 187 个开源仓库、覆盖 19 种语言的公开拉取请求。
推荐理由:公开了完整数据集、评分规则与提交流程,便于不同代码审查智能体在统一配置下比较并复现实验结果。