Exa优化AWS芯片嵌入推理
热点事件持续更新
Exa优化AWS芯片嵌入推理
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Exa通过调整权重布局、注意力计算和内核等方式,优化其在AWS Inferentia2和Trainium2上的嵌入推理基础设施。Exa称,相比初始基线,吞吐量提升约1.5倍,最终性能和每百万文档嵌入成本均改善47%;降精度输出与参考结果的余弦相似度达到0.999,符合其正确性阈值。 目前调优仅覆盖美国西部俄勒冈区(us-west-2)的Inferentia2。Exa还使用Flyte构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
AI 根据报道生成 · 11 小时前更新
最新进展11月19日 07:58
Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AWS Machine Learning BlogExa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%
Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月19日 09:00
- 近 24 小时变化
- –
02.557.510
10:0012:0014:0016:0018:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。