语言模型中头维度对长上下文检索性能的影响分析

在固定参数量下，更宽的头维度显著提升语言模型的长上下文检索性能。 预训练损失和短上下文非检索任务表现受头维度影响较小，且宽头模型拥有更高比例的检索头。 消融实验表明，即使冻结注意力模块的投影权重，宽头仍能通过嵌入和MLP组件的有效适应提升检索效果。