Hugging Face Blog·· 15 小时前精选AI 评分61
Dharma-AI研究共享GPU集群上的大语言模型微调时长预测
Why your fine-tuning job takes longer than the FLOPs say
AI 导读
Dharma-AI基于272次真实SFT任务提出共享GPU集群的微调时长预测方法。基于FLOP的估算仅达到R²=0.31,而CatBoost预测器在5折交叉验证中达到R²=0.98,平均绝对误差为1.71 h。该方法利用评估、检查点和GPU负载等调度前信息改善预测,但目前仅在H200和SFT任务上验证。
推荐理由
该研究用真实生产任务比较FLOP估算与机器学习预测,为共享GPU集群的微调任务调度提供了可复用的时长预测方法。
来源:Hugging Face Blog · huggingface.co