跳到正文
AWS Machine Learning Blog· Summer Devlin·· 10 小时前AI 评分59

Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。

来源:AWS Machine Learning Blog · aws.amazon.com