跳到正文
AIHOT ↗· 百度文心 ERNIE 官方博客·· 15 天前精选AI 评分79

百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型

AI 导读

百度发布并开源 ERNIE-5.5-Flash-Base,一款总参数 280B、每 token 激活 14B 的稀疏 MoE 预训练 Base 模型。模型在 33.5T tokens 上从零完成预训练,训练上下文逐步扩展至 128K tokens,微调与推理支持 1M tokens 上下文。

推荐理由

开放未经中后训练的 Base 权重并披露架构、训练与评测细节,为二次预训练和基线对照提供了可复用参考。

来源:AIHOT · ernie.baidu.com