arXiv · NLP· Zhuoyuan Hao, Zhuo Li, Wu Li, Fangming Liu, Min Zhang, Jing Li·· 9 小时前AI 评分25
Echoes as Anchors: 大语言模型推理中的概率成本与注意力重聚焦机制分析
Echoes as Anchors: Probabilistic Costs and Attention Refocusing in LLM Reasoning
AI 导读
该研究分析了大语言模型(LLM)推理中自发的“提示回声”(Echo of Prompt, EOP)现象。在 GSM8K 因果干预中,向失败轨迹重新插入 EOP 可使两个推理模型的精确匹配度提升 7.9-10.4 分。
来源:arXiv · NLP · arxiv.org