跳到正文
热点事件持续更新

Exa优化AWS芯片嵌入推理

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Exa通过调整权重布局、注意力计算和内核等方式,优化其在AWS Inferentia2和Trainium2上的嵌入推理基础设施。Exa称,相比初始基线,吞吐量提升约1.5倍,最终性能和每百万文档嵌入成本均改善47%;降精度输出与参考结果的余弦相似度达到0.999,符合其正确性阈值。 目前调优仅覆盖美国西部俄勒冈区(us-west-2)的Inferentia2。Exa还使用Flyte构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AWS Machine Learning Blog
    Exa 通过 AWS Neuron 芯片优化将嵌入吞吐量提升约 50%

    Exa 通过 AWS Inferentia2 和 Trainium2 优化嵌入基础设施,将最终性能和每百万文档嵌入成本改善了 47%,吞吐量较初始基线提升约 1.5 倍。文章面向 30 billion 高优先级文档的重新嵌入需求,介绍了权重布局、NKI 内核、注意力计算和减少 FLOPS 等优化方法。Exa 还使用 Flyte 构建智能体工作流,由不同模型验证正确性、测试性能和分析瓶颈。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月19日 09:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。