跳到正文
AIHOT ↗· Cartesia 产品与研究·· 23 天前AI 评分51

Cartesia 发布 H-Net 扩缩律研究:字节级层级网络较 BPE 最高提升 3-5x 计算效率

Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率

AI 导读

Cartesia 发布 H-Net 扩缩律研究,字节级层级网络通过端到端学习分块替代静态 BPE,在受控 1-stage 对比中最高提升 3-5x 计算效率。更灵活的 2-stage H-Net 在与 SmolLM3 计算匹配时,用约 0.99T tokens 达到后者 11.04T tokens 后的平均分,研究还展示了 DNA 建模及多维图像生成中的初步结果。

来源:AIHOT · cartesia.ai