HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models

1. HydraLLM 提出基于 MQA 的弹性架构，通过激活注意力头数量控制模型宽度，覆盖比仅 FFN 弹性架构更广的参数配置范围。 2. 静态到弹性转换管线支持知识蒸馏；75% 头激活时 TriviaQA 准确率超基线 2.2 点，50% 激活时多模态 CLIPScore 接近 7 倍大的 Gemma 3 4B。 3. 25% 激活时 token 生成吞吐量比全宽度配置提升 75.3%。