arXiv · AI· Zhongkai Yu, Haotian Ye, Chenyang Zhou, Ohm Rishabh Venkatachalam, Zaifeng Pan, Zhengding Hu, Junsung Kim, Won Woo Ro, Po-An Tsai, Shuyi Pei, Yangwook Kang, Yufei Ding·· 1 天前AI 评分20
AMMA：面向低延迟1M上下文注意力服务（Attention Serving）的多芯片let内存中心架构
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
AI 导读
论文提出多芯片let内存中心架构 AMMA，专攻低延迟长上下文 LLM 注意力服务，面向 1M token 场景优化。 AMMA 用 HBM-PNM 堆替代 GPU 计算 die，配合逻辑 die 微架构与两级混合并行，显著提升注意力推理带宽效率。 相比 NVIDIA H100，AMMA 注意力延迟降低 15.5 倍，能耗降低 6.9 倍，论文已被 MICRO 2026 录用。
来源：arXiv · AI · arxiv.org