Dharma-AI研究共享GPU集群上的大语言模型微调时长预测
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
技术方向
大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
20 条精选近 30 天 16 条共收录 68 条
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。
推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。
Amazon SageMaker HyperPod Data Capture 可在三个独立层级记录生产推理输入和输出,并将数据写入 Amazon S3。文章以家电支持路由器为例,演示通过 Amazon Athena 发现新产品分类盲点、使用 SQL 策略生成标注数据,以及利用 HyperPod training operator 完成 LoRA 微调和并行部署。
推荐理由:文章以完整案例串联生产数据捕获、Athena 分析、SQL 标注、LoRA 微调和并行部署,提供了可复用的模型改进闭环。
IBM 发布两款实验预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,用于生成和理解 LLMON 标记文本。
推荐理由:LLMON通过显式分离指令与数据,并提供模型、转换工具、LoRA示例和提示注入评测,展示了小模型强化上下文结构化的实现路径。
Hugging Face 提供 TRELLIS.2 3D生成模型的 LoRA 微调脚本与容器,可通过 Hugging Face Jobs 或本地 Docker 运行。
推荐理由:教程完整拆解了 TRELLIS.2 的 LoRA 微调流程,并提供可在 Hugging Face Jobs 或本地 Docker 运行的脚本与容器。
Amazon SageMaker HyperPod 团队介绍如何通过梯度检查、环形重放审计和权重指纹比较,检测分布式训练中的静默数据损坏。检测到异常后,可将可疑 rank 映射到节点,隔离并更换故障节点,再从告警窗口之前的检查点恢复训练。方案已在配备 32 张 NVIDIA H100 GPU 的 PyTorch DDP 集群上测试,确定性审计每 100 步的实测开销为 10.1%。
推荐理由:文章给出三项训练循环检查及故障定位、隔离和节点替换流程,并提供实测开销与注入故障结果。
Google DeepMind 发布 AlphaGenome 2,用于预测 DNA 序列及其变异对特定人类细胞类型的影响。模型基于超过 1.07 亿个细胞谱和 68 种组织训练,在 TenK10K 数据集上识别的因果变异比例为 30%,高于原始模型的 16%,并可预测未见过的细胞状态。AlphaGenome 2 已通过 AlphaGenome API 面向非商业研究开放,商业研究处于私有预览阶段。
推荐理由:AlphaGenome 2 将 DNA 变异预测细化到具体细胞类型,并提供跨模态补全能力,读者可据此评估其对单细胞遗传研究的应用价值。
Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。
推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。
Google DeepMind 发布 SatWeave 和 PARDIG 两个基础数据集,并开放历史存档与实时数据流,供研究者和开发者构建天气、水文和气候应用。
推荐理由:两个数据集开放了实时数据流与跨越十余年的历史存档,研究者可在洪水、干旱和太阳能预测等方向复用同一套全球观测基础。
NVIDIA 与 Elith 发布开源数据集 Nemotron-Personas-Finance-Japan,用于构建和评估符合日本人口与金融环境的 AI。数据集包含 9M personas、每条记录 50 个字段和约 1.5B tokens,基于官方人口与劳动力统计,并加入家庭财务、金融素养等信息。
推荐理由:该数据集把日本官方统计与金融场景结合,并明确规模、字段、构建流程和许可,为金融 AI 开发提供了可复用的数据基础。
AllenAI 发布 ToyBlocks,一个围绕机械臂与桌面积木构建的开放机器人学习与评测框架,并公开仿真资产、任务与示范生成器、模型、训练代码、评测代码和验证集。
推荐理由:ToyBlocks将自动任务与示范生成、模型训练和评测置于同一受控环境,并公开数据、代码与验证集,便于系统研究机器人学习中的泛化、规划和失败模式。
百度发布并开源 ERNIE-5.5-Flash-Base,一款总参数 280B、每 token 激活 14B 的稀疏 MoE 预训练 Base 模型。模型在 33.5T tokens 上从零完成预训练,训练上下文逐步扩展至 128K tokens,微调与推理支持 1M tokens 上下文。
推荐理由:开放未经中后训练的 Base 权重并披露架构、训练与评测细节,为二次预训练和基线对照提供了可复用参考。
Reflection 公开开源模型 Beam 的安全训练与评估方法,并借 Project Iris 开源安全研究、评测集和缓解工具。文章介绍多教师在线策略蒸馏、安全对齐后训练,以及分别衡量安全策略遵循度和潜在能力风险的 ISE、OSF 框架。
推荐理由:完整呈现 Beam 的安全训练、ISE 与 OSF 评测框架及第三方测试结果,为评估开源模型安全与有用性的权衡提供可复用参照。
AWS教程演示如何使用序列级知识蒸馏(SeqKD),在Amazon SageMaker AI上训练低成本购物智能体。流程包括由Amazon Bedrock上的GLM-5.3生成并筛选 ShoppingBench轨迹,再以LoRA微调Qwen3.5-4B、评测并部署。蒸馏模型的平均ASR从基础模型的0.297提升至0.541,接近GLM-5.3贪心解码的0.540;仅保留工具调用时降至0.415。
推荐理由:完整展示SeqKD智能体的轨迹生成、过滤、训练、评测与部署链路,并量化推理保留和专项微调的效果差异。
Figma 介绍了其自研画布编辑模型的训练与评测方法:用 Figma 原生文件格式表示设计,构造超过 250,000 条示例对 Llama 3.3 70B 做监督微调,后续转向基于 Qwen 3.8 27B 等更新基础模型并引入 RL,以改善泛化和样本效率。
推荐理由:Figma 公开了画布编辑模型从 SFT 到 RL 的训练与评测思路,对非可验证设计类任务给出可参考的落地路径。
Meta 向 SEC 申报拟通过新股发行募资 950 亿美元,用于 AI 数据中心和超级智能投入。首批 350 亿美元包括 225 亿美元普通股和 125 亿美元强制可转换优先股,后续计划通过 at-the-market 机制再募资 600 亿美元;Nvidia、AMD 和 Broadcom 表示有意合计认购至多 50 亿美元。
推荐理由:Meta 的超大额募资计划及供应商认购意向,展示了 AI 基础设施投入背后的资本规模与产业参与方式。
Mistral AI 发布首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规模,支持概率预测、多变量目标、过去协变量和已知未来协变量。
推荐理由:Timestral 提供四种规模与多种部署方式,并公开基准成绩、训练方法和代码,便于评估其在企业预测场景中的适配与成本。
Google Earth AI 发布地理空间推理技术报告,并扩大 Geospatial Reasoning agent 在 Google Earth 和 Google Cloud 的早期访问。
推荐理由:材料同时给出评测结论、API 接入方式与合作方案例,呈现地理空间智能体从研究原型走向试验性落地的路径。
Microsoft Research Asia 开源 Agent Lightning v1.0,以约 3,500 行代码构建支持真实智能体 harness 接入的强化学习控制平面。
推荐理由:文章给出框架架构、真实智能体接入机制与完整编码训练实验,为复用和改造智能体强化学习训练流程提供具体参考。
Mistral 在慕尼黑开设德国中心,组建 Physics AI 和 Industrial AI 专业研究团队及应用工程团队,并与 BMW、Siemens Energy 开展合作。Mistral 计划到 2030 年建设 1 gigawatt 欧洲算力capacity,同时与 TUM 合作研究基于风洞数据的实时汽车空气动力学预测。
推荐理由:Munich 研究中心及欧洲算力建设计划交代了 Mistral 进入德国工业 AI 市场的组织布局与基础设施投入。