arXiv · NLP· Ayana Niwa, Masahiro Kaneko, Kentaro Inui·· 17 天前AI 评分38
追踪语言模型将时间锚点整合进事实记忆召回的过程
Tracing How Language Models Integrate Temporal Anchors into Factual Recall
AI 导读
研究通过因果干预揭示语言模型在时间锚点下的事实召回存在两条并行路径。 在主题介导路径中,锚点将最终主题词表示解析至查询年份,关系头重新分布读取信号;在直接路径中,最终位置关注锚点,上层MLP将其转化为对适时应时对象的偏好。 这两条路径的贡献具有加和性,大多数查询同时使用两种机制,其平衡依赖于具体查询关系。
来源:arXiv · NLP · arxiv.org