AMMA多芯片架构实现低延迟1M上下文注意力服务

1. 13:00
   arXiv · AI

   AMMA：面向低延迟1M上下文注意力服务（Attention Serving）的多芯片let内存中心架构

   论文提出多芯片let内存中心架构 AMMA，专攻低延迟长上下文 LLM 注意力服务，面向 1M token 场景优化。 AMMA 用 HBM-PNM 堆替代 GPU 计算 die，配合逻辑 die 微架构与两级混合并行，显著提升注意力推理带宽效率。 相比 NVIDIA H100，AMMA 注意力延迟降低 15.5 倍，能耗降低 6.9 倍，论文已被 MICRO 2026 录用。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。