Dharma-AI研究共享GPU集群上的大语言模型微调时长预测
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由:该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
HOPE 论文提出一种面向 MoE 语言模型的二阶专家剪枝方法,通过 F 矩阵保留专家之间的协作关系。实验覆盖 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air,在 50% 剪枝率下取得 1.58 的平均排名,并在 Qwen3.5-35B-A3B 的 SWE-Bench Pro 上达到 42.3。团队还开源了包含校准、求解二次规划和剪枝三步流程的代码包。
推荐理由:HOPE 把专家两两协作纳入剪枝目标,并通过多模型基准与三步使用流程说明其在高剪枝率下的取舍。