跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

20 条精选近 30 天 16 条共收录 68 条

更新

数据与训练的精选

今天11月19日周四第 1–20 条
  1. Hugging Face Blog61

    Dharma-AI研究共享GPU集群上的大语言模型微调时长预测

    Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。

    推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。

11月18日周三
  1. AWS Machine Learning Blog71

    Amazon SageMaker AI 发布生成式 AI 数据准备能力

    Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。

    推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。

11月14日周六
  1. AWS Machine Learning Blog70

    Amazon SageMaker HyperPod Data Capture 构建模型改进闭环教程

    Amazon SageMaker HyperPod Data Capture 可在三个独立层级记录生产推理输入和输出,并将数据写入 Amazon S3。文章以家电支持路由器为例,演示通过 Amazon Athena 发现新产品分类盲点、使用 SQL 策略生成标注数据,以及利用 HyperPod training operator 完成 LoRA 微调和并行部署。

    推荐理由:文章以完整案例串联生产数据捕获、Athena 分析、SQL 标注、LoRA 微调和并行部署,提供了可复用的模型改进闭环。

11月13日周五
11月12日周四
  1. AWS Machine Learning Blog74

    在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

    Amazon SageMaker HyperPod 团队介绍如何通过梯度检查、环形重放审计和权重指纹比较,检测分布式训练中的静默数据损坏。检测到异常后,可将可疑 rank 映射到节点,隔离并更换故障节点,再从告警窗口之前的检查点恢复训练。方案已在配备 32 张 NVIDIA H100 GPU 的 PyTorch DDP 集群上测试,确定性审计每 100 步的实测开销为 10.1%。

    推荐理由:文章给出三项训练循环检查及故障定位、隔离和节点替换流程,并提供实测开销与注入故障结果。

11月11日周三
  1. Google DeepMind60

    Google DeepMind 发布 AlphaGenome 2 DNA 序列模型

    Google DeepMind 发布 AlphaGenome 2,用于预测 DNA 序列及其变异对特定人类细胞类型的影响。模型基于超过 1.07 亿个细胞谱和 68 种组织训练,在 TenK10K 数据集上识别的因果变异比例为 30%,高于原始模型的 16%,并可预测未见过的细胞状态。AlphaGenome 2 已通过 AlphaGenome API 面向非商业研究开放,商业研究处于私有预览阶段。

    推荐理由:AlphaGenome 2 将 DNA 变异预测细化到具体细胞类型,并提供跨模态补全能力,读者可据此评估其对单细胞遗传研究的应用价值。

  2. Hugging Face Blog63

    Tether AI Research 发布 BotPsy 端侧智能体模型

    Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。

    推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。

11月10日周二
  1. Google DeepMind74

    Google DeepMind 发布 SatWeave 与 PARDIG 天气数据集

    Google DeepMind 发布 SatWeave 和 PARDIG 两个基础数据集,并开放历史存档与实时数据流,供研究者和开发者构建天气、水文和气候应用。

    推荐理由:两个数据集开放了实时数据流与跨越十余年的历史存档,研究者可在洪水、干旱和太阳能预测等方向复用同一套全球观测基础。

11月9日周一
  1. Hugging Face Blog66

    NVIDIA 与 Elith 发布 Nemotron-Personas-Finance-Japan 日本金融合成数据集

    NVIDIA 与 Elith 发布开源数据集 Nemotron-Personas-Finance-Japan,用于构建和评估符合日本人口与金融环境的 AI。数据集包含 9M personas、每条记录 50 个字段和约 1.5B tokens,基于官方人口与劳动力统计,并加入家庭财务、金融素养等信息。

    推荐理由:该数据集把日本官方统计与金融场景结合,并明确规模、字段、构建流程和许可,为金融 AI 开发提供了可复用的数据基础。

11月6日周五
  1. Hugging Face Blog66

    ToyBlocks:用于机器人学习与评测的受控仿真世界

    AllenAI 发布 ToyBlocks,一个围绕机械臂与桌面积木构建的开放机器人学习与评测框架,并公开仿真资产、任务与示范生成器、模型、训练代码、评测代码和验证集。

    推荐理由:ToyBlocks将自动任务与示范生成、模型训练和评测置于同一受控环境,并公开数据、代码与验证集,便于系统研究机器人学习中的泛化、规划和失败模式。

  2. AIHOT79

    百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型

    百度发布并开源 ERNIE-5.5-Flash-Base,一款总参数 280B、每 token 激活 14B 的稀疏 MoE 预训练 Base 模型。模型在 33.5T tokens 上从零完成预训练,训练上下文逐步扩展至 128K tokens,微调与推理支持 1M tokens 上下文。

    推荐理由:开放未经中后训练的 Base 权重并披露架构、训练与评测细节,为二次预训练和基线对照提供了可复用参考。

  3. AIHOT76

    Reflection 详解开源模型 Beam 的安全训练与评估方法

    Reflection 公开开源模型 Beam 的安全训练与评估方法,并借 Project Iris 开源安全研究、评测集和缓解工具。文章介绍多教师在线策略蒸馏、安全对齐后训练,以及分别衡量安全策略遵循度和潜在能力风险的 ISE、OSF 框架。

    推荐理由:完整呈现 Beam 的安全训练、ISE 与 OSF 评测框架及第三方测试结果,为评估开源模型安全与有用性的权衡提供可复用参照。

11月3日周二
  1. AWS Machine Learning Blog75

    在Amazon SageMaker AI上用知识蒸馏构建高效智能体

    AWS教程演示如何使用序列级知识蒸馏(SeqKD),在Amazon SageMaker AI上训练低成本购物智能体。流程包括由Amazon Bedrock上的GLM-5.3生成并筛选 ShoppingBench轨迹,再以LoRA微调Qwen3.5-4B、评测并部署。蒸馏模型的平均ASR从基础模型的0.297提升至0.541,接近GLM-5.3贪心解码的0.540;仅保留工具调用时降至0.415。

    推荐理由:完整展示SeqKD智能体的轨迹生成、过滤、训练、评测与部署链路,并量化推理保留和专项微调的效果差异。

10月30日周五
  1. AIHOT77

    Figma 讲解专用画布编辑模型的 SFT 与 RL 训练方法

    Figma 介绍了其自研画布编辑模型的训练与评测方法:用 Figma 原生文件格式表示设计,构造超过 250,000 条示例对 Llama 3.3 70B 做监督微调,后续转向基于 Qwen 3.8 27B 等更新基础模型并引入 RL,以改善泛化和样本效率。

    推荐理由:Figma 公开了画布编辑模型从 SFT 到 RL 的训练与评测思路,对非可验证设计类任务给出可参考的落地路径。

10月27日周二
  1. AIHOT87

    Meta 向 SEC 申报募资 950 亿美元建设 AI 数据中心与超级智能

    Meta 向 SEC 申报拟通过新股发行募资 950 亿美元,用于 AI 数据中心和超级智能投入。首批 350 亿美元包括 225 亿美元普通股和 125 亿美元强制可转换优先股,后续计划通过 at-the-market 机制再募资 600 亿美元;Nvidia、AMD 和 Broadcom 表示有意合计认购至多 50 亿美元。

    推荐理由:Meta 的超大额募资计划及供应商认购意向,展示了 AI 基础设施投入背后的资本规模与产业参与方式。

10月15日周四
  1. Mistral AI65

    Mistral AI 发布 Timestral 时间序列基础模型家族

    Mistral AI 发布首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规模,支持概率预测、多变量目标、过去协变量和已知未来协变量。

    推荐理由:Timestral 提供四种规模与多种部署方式,并公开基准成绩、训练方法和代码,便于评估其在企业预测场景中的适配与成本。

10月8日周四
9月28日周一
  1. Mistral AI62

    Mistral 在慕尼黑开设德国中心,推进工业 AI 与 Physics AI

    Mistral 在慕尼黑开设德国中心,组建 Physics AI 和 Industrial AI 专业研究团队及应用工程团队,并与 BMW、Siemens Energy 开展合作。Mistral 计划到 2030 年建设 1 gigawatt 欧洲算力capacity,同时与 TUM 合作研究基于风洞数据的实时汽车空气动力学预测。

    推荐理由:Munich 研究中心及欧洲算力建设计划交代了 Mistral 进入德国工业 AI 市场的组织布局与基础设施投入。