百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型
AI 导读
百度发布并开源 ERNIE-5.5-Flash-Base,一款总参数 280B、每 token 激活 14B 的稀疏 MoE 预训练 Base 模型。模型在 33.5T tokens 上从零完成预训练,训练上下文逐步扩展至 128K tokens,微调与推理支持 1M tokens 上下文。
推荐理由
开放未经中后训练的 Base 权重并披露架构、训练与评测细节,为二次预训练和基线对照提供了可复用参考。
来源:AIHOT · ernie.baidu.com