arXiv · NLP· Yang Wang, Xiao Wang, Yiqi Liu, Chenghao Xiao, Eleni Vasilaki, Goran Nenadic, Chenghua Lin·· 4 天前AI 评分25
追踪 LLM 中的知识与推理过程
Tracing Knowledge and Reasoning in LLMs
AI 导读
研究人员提出一种任务中心框架,结合注意力、激活和表征信号,用于刻画 16 个 LLM 在 24 个基准测试中的内部处理模式。 该框架揭示从检索主导到推理主导的连续谱系,并发现知识密集型与推理密集型任务存在系统性处理差异,有助于优化基准选择与模型评估。 代码已开源,论文被 TACL 接收。
来源:arXiv · NLP · arxiv.org