跳到正文
Hugging Face Blog·· 15 小时前精选AI 评分61

Dharma-AI研究共享GPU集群上的大语言模型微调时长预测

Why your fine-tuning job takes longer than the FLOPs say

AI 导读

Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。

推荐理由

该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。

来源:Hugging Face Blog · huggingface.co