如何在 Amazon SageMaker AI Serverless 模型定制中使用 FFT 全参数微调
Amazon SageMaker AI Serverless 模型定制现已支持 FFT 全参数微调,无需管理 GPU 集群或分布式训练配置。作者以 Qwen3-4B 和 110K 代码指令数据集进行实验,FFT 在 100K+ 训练样本上的 LLM-as-Judge 语义正确率达到 90.0 percent,并提供 SageMaker Python SDK 示例。
Amazon SageMaker AI Serverless 模型定制现已支持 FFT 全参数微调,无需管理 GPU 集群或分布式训练配置。作者以 Qwen3-4B 和 110K 代码指令数据集进行实验,FFT 在 100K+ 训练样本上的 LLM-as-Judge 语义正确率达到 90.0 percent,并提供 SageMaker Python SDK 示例。
Amazon SageMaker HyperPod 新增工作负载恢复与扩展基础设施检查,用于识别训练正确性、Kubernetes 集群状态和 Slurm 挂起任务三类故障。
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
Amazon SageMaker AI 新增面向模型开发的数据准备能力,支持自动标注、人工审核、合成数据生成、数据质量评估和数据转换。各能力既可独立使用,也可串联为从原始数据到训练与评估的数据准备流程,并通过 SageMaker Python SDK 和 AWS AI-ML skill 调用。
推荐理由:Amazon SageMaker AI 将数据标注、合成生成、质量评估与转换整合进可组合流程,并提供 Python SDK 与 AI-ML skill 入口。
AWS 演示了如何在 Amazon SageMaker JumpStart 部署 OpenTSLM-Flamingo,并通过 TimeNet 加载 ARFBench 数据进行领域微调。
Microsoft Research 在《The Shape of Things to Come》播客中邀请医学、生物学与机器学习专家,讨论 AI 如何推动更健康的未来。话题涵盖 AI 辅助诊断、医学影像、全患者模型、虚拟细胞、生物基础模型及药物发现,并指出研究转化至患者仍需更好的生物数据与真实世界验证。
Amazon SageMaker HyperPod Data Capture 可在三个独立层级记录生产推理输入和输出,并将数据写入 Amazon S3。文章以家电支持路由器为例,演示通过 Amazon Athena 发现新产品分类盲点、使用 SQL 策略生成标注数据,以及利用 HyperPod training operator 完成 LoRA 微调和并行部署。
推荐理由:文章以完整案例串联生产数据捕获、Athena 分析、SQL 标注、LoRA 微调和并行部署,提供了可复用的模型改进闭环。
IBM 发布两款实验预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,用于生成和理解 LLMON 标记文本。
推荐理由:LLMON通过显式分离指令与数据,并提供模型、转换工具、LoRA示例和提示注入评测,展示了小模型强化上下文结构化的实现路径。
Hugging Face 提供 TRELLIS.2 3D生成模型的 LoRA 微调脚本与容器,可通过 Hugging Face Jobs 或本地 Docker 运行。
推荐理由:教程完整拆解了 TRELLIS.2 的 LoRA 微调流程,并提供可在 Hugging Face Jobs 或本地 Docker 运行的脚本与容器。
Amazon SageMaker HyperPod 团队介绍如何通过梯度检查、环形重放审计和权重指纹比较,检测分布式训练中的静默数据损坏。检测到异常后,可将可疑 rank 映射到节点,隔离并更换故障节点,再从告警窗口之前的检查点恢复训练。方案已在配备 32 张 NVIDIA H100 GPU 的 PyTorch DDP 集群上测试,确定性审计每 100 步的实测开销为 10.1%。
推荐理由:文章给出三项训练循环检查及故障定位、隔离和节点替换流程,并提供实测开销与注入故障结果。
Google Research 提出利用消费级可穿戴设备开展 CKM 个性化健康指导的研究框架,以静息心率、步数、睡眠和心肺活动构建可调整的健康年龄。
Google DeepMind 发布 AlphaGenome 2,用于预测 DNA 序列及其变异对特定人类细胞类型的影响。模型基于超过 1.07 亿个细胞谱和 68 种组织训练,在 TenK10K 数据集上识别的因果变异比例为 30%,高于原始模型的 16%,并可预测未见过的细胞状态。AlphaGenome 2 已通过 AlphaGenome API 面向非商业研究开放,商业研究处于私有预览阶段。
推荐理由:AlphaGenome 2 将 DNA 变异预测细化到具体细胞类型,并提供跨模态补全能力,读者可据此评估其对单细胞遗传研究的应用价值。
Tether AI Research 发布 BotPsy,一款基于 Qwen3.5-0.8B、具备 0.8B 参数的端侧智能体模型,面向函数调用和智能体工作流。模型在测试的六项工具使用与智能体基准中领先五项,并计划以 Apache 2.0 许可开放权重,提供 bf16、Q8 和 Q4 版本,但不适用于安全关键或高风险决策。
推荐理由:文章给出模型训练方法、端侧部署形式与多项基准对比,适合评估小型智能体在工具调用和本地运行中的取舍。
Google DeepMind 发布 SatWeave 和 PARDIG 两个基础数据集,并开放历史存档与实时数据流,供研究者和开发者构建天气、水文和气候应用。
推荐理由:两个数据集开放了实时数据流与跨越十余年的历史存档,研究者可在洪水、干旱和太阳能预测等方向复用同一套全球观测基础。
NVIDIA 与 Elith 发布开源数据集 Nemotron-Personas-Finance-Japan,用于构建和评估符合日本人口与金融环境的 AI。数据集包含 9M personas、每条记录 50 个字段和约 1.5B tokens,基于官方人口与劳动力统计,并加入家庭财务、金融素养等信息。
推荐理由:该数据集把日本官方统计与金融场景结合,并明确规模、字段、构建流程和许可,为金融 AI 开发提供了可复用的数据基础。
AllenAI 发布 ToyBlocks,一个围绕机械臂与桌面积木构建的开放机器人学习与评测框架,并公开仿真资产、任务与示范生成器、模型、训练代码、评测代码和验证集。
推荐理由:ToyBlocks将自动任务与示范生成、模型训练和评测置于同一受控环境,并公开数据、代码与验证集,便于系统研究机器人学习中的泛化、规划和失败模式。
AWS教程演示如何使用序列级知识蒸馏(SeqKD),在Amazon SageMaker AI上训练低成本购物智能体。流程包括由Amazon Bedrock上的GLM-5.3生成并筛选 ShoppingBench轨迹,再以LoRA微调Qwen3.5-4B、评测并部署。蒸馏模型的平均ASR从基础模型的0.297提升至0.541,接近GLM-5.3贪心解码的0.540;仅保留工具调用时降至0.415。
推荐理由:完整展示SeqKD智能体的轨迹生成、过滤、训练、评测与部署链路,并量化推理保留和专项微调的效果差异。
Microsoft 构建 Industry Evaluation Data Generation Platform,以合成企业环境评估 Microsoft Copilot 在真实业务场景中的表现。该平台结合 O*NET、在线职位信息和 SEC 文件生成完全合成的测试环境,并通过自动化查询管线和质量框架建立首个标准化评估基线;内容安全检查用于排除有害及个人可识别信息。
AWS Batch 新增 quota management 调度能力,可为 SageMaker Training 作业按团队或项目划分配额份额并跨份额借还闲置 GPU 容量。
Google Research 提出 sleep framework,让 LLM 在活跃交互与离线“睡眠”间交替,持续学习并将短期上下文巩固为长期参数。框架通过 MoE 参数扩展、GKD 知识播种与突触修剪减少灾难性遗忘,再以合成样本、筛选和 RL 微调提升复杂推理能力。实验显示,该方法可保留最长 10M tokens 的长上下文知识。
Mistral AI 发布首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规模,支持概率预测、多变量目标、过去协变量和已知未来协变量。
推荐理由:Timestral 提供四种规模与多种部署方式,并公开基准成绩、训练方法和代码,便于评估其在企业预测场景中的适配与成本。
Google Earth AI 发布地理空间推理技术报告,并扩大 Geospatial Reasoning agent 在 Google Earth 和 Google Cloud 的早期访问。
推荐理由:材料同时给出评测结论、API 接入方式与合作方案例,呈现地理空间智能体从研究原型走向试验性落地的路径。
Microsoft Research 提出研究系统 StudentSim,利用公开且去标识化的学习者记录训练个性化学生模拟器,在接触真实学习者前评估并改进 AI 辅导系统。同步推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval,以行为忠实度和指导响应性评估模拟器。模拟器表现优于领先基线,但目前并非产品,也未部署于课堂或用于替代教师。
Microsoft Research Asia 开源 Agent Lightning v1.0,以约 3,500 行代码构建支持真实智能体 harness 接入的强化学习控制平面。
推荐理由:文章给出框架架构、真实智能体接入机制与完整编码训练实验,为复用和改造智能体强化学习训练流程提供具体参考。
Mistral 在慕尼黑开设德国中心,组建 Physics AI 和 Industrial AI 专业研究团队及应用工程团队,并与 BMW、Siemens Energy 开展合作。Mistral 计划到 2030 年建设 1 gigawatt 欧洲算力capacity,同时与 TUM 合作研究基于风洞数据的实时汽车空气动力学预测。
推荐理由:Munich 研究中心及欧洲算力建设计划交代了 Mistral 进入德国工业 AI 市场的组织布局与基础设施投入。
ABBEL 将自然语言信念状态作为智能体的工作上下文,并通过信念分级监督摘要信息,帮助 LLM 处理长程交互。CollabBench 协作编程测试显示,重构式信念分级可将模型与完整上下文的性能差距缩小约 50%,训练步数从 100 步降至 50 步,同时峰值 token 更少。
Berkeley AI Research 对自适应并行推理的研究进展与未来方向展开分析,探讨由模型自主决定何时分解任务、生成多少并行线程及如何协调。该方法旨在克服固定并行结构带来的冗余计算,并缓解顺序推理导致的上下文退化、延迟上升与算力消耗问题。