热点事件持续更新

HydraLLM 弹性架构论文被 EMNLP 2026 接收

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

HydraLLM 论文已被接收至 2026 年 EMNLP 会议的 BabyLM Workshop。该研究提出一种基于多查询注意力（MQA）的弹性架构，通过调节激活的注意力头数量来控制模型宽度，相比仅针对 FFN 层做弹性的方案，其可适配的参数配置范围更宽。论文给出从静态模型到弹性模型的转换流程，该流程支持知识蒸馏。实测显示，当 75% 的注意力头被激活时，模型在 TriviaQA 数据集上的准确率超过基线 2.2 个百分点；当激活比例降至 50% 时，其在多模态任务上的 CLIPScore 已接近参数量 7 倍的 Gemma 3 4B 模型。在推理性能方面，当模型仅激活 25% 的注意力头时，其 token 生成吞吐量相比全宽度配置提升了 75.3%，验证了该弹性架构在低资源推理场景下的优势。

AI 根据报道生成 · 6 小时前更新

最新进展10月19日 12:00

HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models

报道时间线

沿着报道，了解事件的不同侧面。

10月19日

12:00
arXiv · NLP
HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models
1. HydraLLM 提出基于 MQA 的弹性架构，通过激活注意力头数量控制模型宽度，覆盖比仅 FFN 弹性架构更广的参数配置范围。 2. 静态到弹性转换管线支持知识蒸馏；75% 头激活时 TriviaQA 准确率超基线 2.2 点，50% 激活时多模态 CLIPScore 接近 7 倍大的 Gemma 3 4B。 3. 25% 激活时 token 生成吞吐量比全宽度配置提升 75.3%。

本事件热度走势

可比范围当前: 8
可比范围峰值: 910月19日 14:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。