跳到正文
arXiv · NLP· Zhuoyuan Hao, Zhuo Li, Wu Li, Fangming Liu, Min Zhang, Jing Li·· 9 小时前AI 评分25

Echoes as Anchors: 大语言模型推理中的概率成本与注意力重聚焦机制分析

Echoes as Anchors: Probabilistic Costs and Attention Refocusing in LLM Reasoning

AI 导读

该研究分析了大语言模型(LLM)推理中自发的“提示回声”(Echo of Prompt, EOP)现象。在 GSM8K 因果干预中,向失败轨迹重新插入 EOP 可使两个推理模型的精确匹配度提升 7.9-10.4 分。

来源:arXiv · NLP · arxiv.org