跳到正文
AWS Machine Learning Blog· Summer Devlin·· 17 小时前AI 评分38

Exa 在 AWS AI 芯片上将嵌入吞吐量提升 50% 以索引数十亿文档

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 在 AWS Inferentia2 和 Trainium2 硬件上优化嵌入基础设施,吞吐量提升 50%。 通过权重布局优化、自动混合精度及自定义 NKI 内核减少内存溢出和 FLOPS,实现最高 1.5 倍性能增益。 单位经济性的改进支持 Exa 在数十亿文档规模下更高效地索引网络数据。

来源:AWS Machine Learning Blog · aws.amazon.com