Cartesia 发布 H-Net 扩缩律研究:字节级层级网络较 BPE 最高提升 3-5x 计算效率
Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率
AI 导读
Cartesia 发布 H-Net 扩缩律研究,字节级层级网络通过端到端学习分块替代静态 BPE,在受控 1-stage 对比中最高提升 3-5x 计算效率。更灵活的 2-stage H-Net 在与 SmolLM3 计算匹配时,用约 0.99T tokens 达到后者 11.04T tokens 后的平均分,研究还展示了 DNA 建模及多维图像生成中的初步结果。
来源:AIHOT · cartesia.ai