Hugging Face Blog·· 1 天前精选AI 评分64
Transformers 实践 MoE 专家流式加载,在 32GB Mac 上运行 180B 模型
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
作者通过修改 Transformers 实现 MoE 路由专家的磁盘流式加载,让 Qwen3.8-Flash-Next 在 32GB Mac M5 上运行。该方案将 121GB FP8 专家量化为 49GB,并采用 12 GiB 设备缓存,推理速度达到 Strata 的约 94%。
推荐理由
文章拆解专家流式加载、缓存与Metal内核优化,并提供代码、基准和可复现实验环境,便于比较其他推理引擎。
来源:Hugging Face Blog · huggingface.co