跳到正文
Hugging Face Blog·· 1 天前精选AI 评分64

Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。

推荐理由

文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。

来源:Hugging Face Blog · huggingface.co