Hugging Face Blog·· 10 天前精选AI 评分70
HOPE 论文提出面向 MoE 语言模型的二阶专家剪枝方法
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI 导读
HOPE 论文提出一种面向 MoE 语言模型的二阶专家剪枝方法,通过 F 矩阵保留专家之间的协作关系。实验覆盖 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air,在 50% 剪枝率下取得 1.58 的平均排名,并在 Qwen3.5-35B-A3B 的 SWE-Bench Pro 上达到 42.3。团队还开源了包含校准、求解二次规划和剪枝三步流程的代码包。
推荐理由
HOPE 把专家两两协作纳入剪枝目标,并通过多模型基准与三步使用流程说明其在高剪枝率下的取舍。
来源:Hugging Face Blog · huggingface.co