跳到正文
AIHOT ↗· X:Unsloth (@UnslothAI)·· 21 天前AI 评分59

Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,支持本地运行 1T 参数模型

Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可本地运行 1T 参数模型

AI 导读

Unsloth 发布 Mistral Le Chonk(Mistral Large 4)Dynamic 1-bit GGUF量化版,可在Mac Studio上本地运行该1T参数MoE模型。量化版体积约233GB,较1.1TB FP8小80%,保留91% top-1准确率;1-bit配置需要256-270GB内存,并支持文本与图像输入、1M上下文和160多种语言。

来源:AIHOT · x.com