arXiv · AI· Karol Struniawski·· 9 天前AI 评分31
集中 vs. 弥散注意力头失效对自回归多步推理的影响:基于 Qwen3-8B 与 LLaMA 3.1-8B 的 GSM8K 实证分析
Breakdown of Autoregressive Multi-Step Reasoning Under Concentrated vs. Diffuse Attention Head Dropout
AI 导读
在 GSM8K 基准测试中,集中式注意力头失效比同等预算的弥散式随机失效显著降低自回归 LLM 的多步推理准确率。
来源:arXiv · AI · arxiv.org